proxy代理   soft软件   IT 业界特快   norton 诺顿病毒库   代理列表   search FTP搜索   whois IP地理位置   blog 追求完美  
money理财   life生活   RSS聚合门户   firefox WEB浏览器   免费域名   typeset 假古文   AntiVirus 反病毒   ipcn 站点导航  

« super 4:3 战胜 f91 夺得 PLU 星际争霸冠军 | Main | heartbeat Remote Denial of Service »

August 28, 2006

改进过滤搜索引擎agent的python代码

版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明。
https://windtear.net/archives/2006/08/28/001068.html
http://windtear.net/archives/2006/08/28/001068.html

改进过滤搜索引擎agent的python代码

大循环里面的代码 可以根据情况调整前后位置
# deal with useragent
if agent.find('Yahoo! Slurp') != -1:
	spider = True
elif agent.find('Baiduspider') != -1:
	spider = True
elif agent.find('Googlebot') != -1:
	spider = True
else:
	spider = False

然后
if spider:
elif 
else:

if spider: 里面可以进行必要的处理
之前是直接过滤了  所以连着三个if没问题 这里用了 if elif

过滤搜索引擎agent的python代码
http://windtear.net/archives/2006/07/08/001024.html
本blog WWW

Posted by windtear at August 28, 2006 5:54 PM

本站使用中的任何问题,请与 windtear @ windtear.net 联系
Copyright© 1999-2024 Windtear. All rights reserved.