« ARP 病毒查杀与预防 |
Main
| html form submit 处理select自动提交的一个小细节 »
May 31, 2007
60.28.164.* 新浪 iaskspider 也疯狂
版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明。
https://windtear.net/archives/2007/05/31/001239.html
发信人: windtear (追求完美), 信区: ITExpress
标 题: 60.28.164.* 新浪 iaskspider 也疯狂
发信站: 水木社区 (Thu May 31 00:19:53 2007), 站内
看了下log
发现60.28.164.113 114 UA 设了 iaskspider 然后推测该段为iaskspider段
100 104 没设UA 抓过robots.txt
其中 60.28.164.122 有几次 UserAgent 为 Python-urllib/2.5
然后为 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
开始往死里抓一个动态页面
不知道是spider喜欢拿我“测试” 还是我运气太好
至今被新浪 搜狐 网易三大门户都测试过了 太完美了!
症状都是先有两次正常 然后突然很像恶意样的往死里弄 偶尔中间还夹杂正常的
新浪、网易都抓动态页面 逮住一个狂抓
搜狐是抓静态页面 我当时明确给出详细的Cache-Control Expires Last-Modified ETag 头
并给出 X-Cache: HIT 和 Age
拜 spider core 们
--
http://search.ipcn.org/ FTP 搜索引擎
http://norton.ipcn.org/ norton 病毒库
http://proxy.ipcn.org/ proxy 教育网代理
※ 来源:·水木社区 newsmth.net·[FROM: 124.64.0.*]
|
|
Posted by windtear at May 31, 2007 12:20 AM
