windtear 追求完美

兄弟部门的一个广告跟踪项目遇到了性能问题 帮着看了看
（用了不少我原来做的一个项目的程序等）

主要改了三大快
1. shell 减少不必要的IO等
比如 cat 性能不好 awk sort 这些都尽量不要用 转化为别的方式处理
去掉了大文件 cat (能省7分钟)
去掉了好几次 awk (能省7分钟 加上后续sort处理grep等共节省27分钟)

2. c 接收改进 logd 接收服务端只接收保存相关的内容 减少cpu占用 减少无关接收

3. python 直接生成最终数据 减少中间数据占用
去掉了不必要的代码判断 (以前系统的 和此广告跟踪项目完全无关)

另外还发现了 crontab 中有的输出很多没有屏蔽 导致 /var/spool/mail/root 很大
还发现了 sql 语法错误

整体上用到了 shell python c 三种语言 (不算sql awk)
性能改进的地方是减少IO 减少CPU占用
一次能做完 坚决不两次才出结果

后续的改进建议是：换好点的机器比如双CPU双核 业务分拆
把入库等改进 或者干脆移到别的机器上