« squid-2.5.STABLE7-RC3 (2004-10-05) IPCN configure/patch |
Main
| RRD DST 与 Perl 变量 »
October 11, 2004
[FTP Search Engine] search.ipcn.org FTP 搜索引擎部署简单回顾
版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明。
https://windtear.net/archives/2004/10/11/000371.html
扔下太久了
说真的
都快不记得了:P
ok
let's go
(不需要parker server的版本)最后 cvs 里面有两个分支
一支是公开的
一支是自己的
二者的主要区别在于search 和 statist
search 的区别是对隐藏站点的支持和采用不同的搜索结果密码链接信息
statist 的区别是密码信息的保护 也有隐藏站点支持
对外公开的cgi还有一个submit供提交ftp信息
这是不采用parker server的版本
同时并存的还有一个采用server的版本
采集脚本是perl写的
采集和结果采用了3个不同的站点定义文件以达到分离搜索和下载帐号的目的
采集的处理策略根据站点规模进行是否更新更新时段选择
采集脚本支持各种平台下的list文件
对ls-lR 和ls-lR.gz 也首先进行判断 然后如果有就进行很好的处理
处理结果分为两个版本
一是为了不采用parker server的LZO版本
一是采用server的压缩处理版本
多线程方面也得到了充分发挥
部署
cvs -d :pserver:USER@......:/opt/cvsroot login
cvs -d :pserver:USER@......:/opt/cvsroot co parker
cd parker/src
make
make install
当然首先要进行设置用户和目录
/opt/parker 也要进行设置 log etc bin FtpData HostData Statist HostDataIP tmp
apache 的cgi设置 web页面修改等
基本上第一部分engine就部署完毕了
可以提供服务
addsite.sh 进行站点添加 还有一些别的脚本 delsite.sh perl ...
第二部分下次再说
-----> 以前整理的说明 (这次不引用一大堆了)
IPCN 参加第二十二届“挑战杯”(三)
IPCN 参加第二十二届“挑战杯”(四)
|
|
Posted by windtear at October 11, 2004 11:56 PM
