« 把微软windows live提供的邮局服务(custom domains)的邮箱增大了 | Main | 用 tcpdump 进行网络听包分析解决网络问题 »
January 14, 2006
脚本作战 shell联合python从500G数据中匹配数据
|
版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明。 https://windtear.net/archives/2006/01/14/000886.html http://windtear.net/archives/2006/01/14/000886.html 脚本作战 shell联合python从500G数据中匹配数据 今天加班去了 晚上八点才到家 任务就是标题 我写了个一堆脚本 shell python 没用perl 是因为上次写了个现成的python 这次基于那个改动不是特别多 就用了 500G数据 从里面分析匹配 然后进行取舍 最后归并 设计接口 打包 跑了两台服务器 差不多需要半天 addoil 昨天太累了 抽样了500多万条数据追查 总算运气不错 辛苦没白费 发现了一些需要的东西 开了13个联系窗口 呵呵 加上听包 忙的一塌糊涂 于是到家就睡着了 今天和core们加班 明天还要开会 加上自己的一大堆事 真是超级繁忙的一周 不过脚本真是好东西 一段小脚本往往能完成很多大事 这次要感谢 shell 和 python 顺便感谢 rsync ssh tar gzip |
Posted by windtear at January 14, 2006 10:44 PM
