« April 2006 | Main | June 2006 »
May 30, 2006
tcpflow 类tcpdump的抓包分析工具 我爱网络
http://windtear.net/archives/2006/05/30/000995.html tcpflow 类tcpdump的抓包分析工具 抓包分析 分析更有用 tcpflow可以帮你分析 IE Firefox 浏览器刷新和强制刷新发送的 HTTP Request Header 就是通过 tcpflow 分析的 http://www.circlemud.org/~jelson/software/tcpflow/ http://www.circlemud.org/pub/jelson/tcpflow/tcpflow-0.21.tar.gz -rw-r--r-- 1 root root 79369 Aug 7 2003 tcpflow-0.21.tar.gz -rw-r--r-- 1 root root 157412 May 9 2005 libpcap-0.7.2-7.E3.5.i386.rpm # tcpflow -c -p dst port 80 tcpflow[30735]: listening on eth0 172.016.202.235.02101-172.016.120.186.00080: GET / HTTP/1.1 Host: 172.16.120.186 User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; More...Posted by windtear at 12:03 PM
May 29, 2006
mysql HEAP MEMORY tables 提高行数支持的方法 我爱网络
http://windtear.net/archives/2006/05/29/000994.html mysql HEAP MEMORY tables 提高行数支持的方法 别人问到的 记一下 mysql MEMORY tables 如果目前支持的行数到上限还不够用 可以把 my.cnf 配置里面 max_heap_table_size = 256M 改大 设置 MAX_ROWS 在跑着 可以 ALTER TABLE tbl_name MAX_ROWS= MAX_ROWS 依赖于 max_heap_table_size 设置 相关帮助： max_heap_table_size This variable sets the maximum size to which MEMORY tables are allowed to grow. The value of the variable is used to calculate MEMORY table MAX_ROWS values. More...Posted by windtear at 11:47 PM
May 28, 2006
date touch 时间相关 我爱网络
http://windtear.net/archives/2006/05/28/000993.html date touch 时间相关 -d, --date=STRING 是 date touch 都支持的 man touch -d, --date=STRING -t STAMP use [[CC]YY]MMDDhhmm[.ss] instead of current time --time=WORD set time given by WORD: access atime use (same as -a) modify mtime (same as -m) touch 使用举例： # touch -d "20040428 01:18:18" test.touch.txt or # touch -t 0605281500 test.touch.txt date 使用举例： % date Wed Apr 28 More...Posted by windtear at 11:59 PM
May 27, 2006
IE Firefox 浏览器刷新和强制刷新发送的 HTTP Request Header 我爱网络
http://windtear.net/archives/2006/05/27/000992.html IE Firefox 浏览器刷新和强制刷新发送的 HTTP Request Header Firefox: 刷新 F5 Cache-Control: max-age=0 强制刷新 Ctrl+F5 Pragma: no-cache Cache-Control: no-cache IE: 刷新 F5 If-Modified-Since: Sun, 21 Nov 2004 14:35:21 GMT If-None-Match: "14f598-916-a64a7c40" 强制刷新 Ctrl+F5 Cache-Control: no-cache More...Posted by windtear at 11:52 PM
May 25, 2006
iozone iometer Bonnie 存储/文件系统IO测试工具 我爱网络
http://windtear.net/archives/2006/05/25/000991.html iozone iometer Bonnie 存储/文件系统IO测试工具 要测试一个iSCSI的存储的IO性能 就想到了 iozone iometer Bonnie 这些小工具 blog提一下 给一些URL供参考 http://www.iozone.org/ http://www.iozone.org/src/current/iozone3_263.tar http://www.iozone.org/src/current/iozone-3-263.src.rpm http://www.iozone.org/src/current/iozone-3-263.i386.rpm http://www.iometer.org/ http://www.textuality.com/bonnie/ Usage: iozone [-s filesize_Kb] [-r record_size_Kb] [-f [path]filename] [-h] [-i test] [-E] [-p] [-a] [-A] [-z] [-Z] [-m] [-M] [-t children] [-l min_number_procs] [-u max_number_procs] [-v] [-R] [-x] [-o] [-d microseconds] [-F path1 path2...] [-V pattern] [-j stride] [-T] [-C] [-B] More...Posted by windtear at 11:59 PM
May 24, 2006
apache 的 mod_usertrack 与 cookie 设置 我爱网络
apache 的 mod_usertrack 与 cookie 设置 apache_1.3.36/src/modules/standard/mod_usertrack.c ./configure \ "--with-layout=Apache" \ "--prefix=/usr/local/apache" \ "--enable-module=rewrite" \ "--enable-module=so" \ "$@" ./config.status --enable-module=usertrack CookieName uv_track_id CookieStyle Cookie CookieExpires "100 months" CookieTracking On CookieDomain .windtear.net http://httpd.apache.org/docs/1.3/mod/mod_usertrack.html apache 2.0.58 httpd-2.0.58/modules/metadata/mod_usertrack.c ./configure --prefix=/data/apache --with-mpm=worker --enable-usertrack http://httpd.apache.org/docs/2.0/mod/mod_usertrack.html More...Posted by windtear at 11:57 PM
May 23, 2006
iis web server 支持的 log 格式 我爱网络
http://windtear.net/archives/2006/05/23/000989.html iis web server 支持的 log 格式 log 是很有用的东西 排查错误，统计分析 iis 里面 web server 部分的log支持很有限 想通过log记域名 记访问来源refer 记cookie 几乎不可能 iis 支持四种 log 格式 web server 相关的算是3种（另一种ODBC不算web log） w3c #Fields: date time c-ip cs-username s-ip s-port cs-method cs-uri-stem cs-uri-query sc-status cs(User-Agent) 2006-05-23 08:15:13 127.0.0.1 IPCN\windtear 127.0.0.1 9006 GET /index.html - 200 Mozilla/5.0+(Windows;+U;+Windows+NT+5.0;+en-US;+rv:1.8.0.3)+Gecko/0426+Firefox/1.5.0.3 ncsa 127.0.0.1 - IPCN\windtear [23/May/2006:16:20:02 +0800] "GET /index.html HTTP/1.1" More...Posted by windtear at 11:50 PM
May 22, 2006
awstats 的自定义 logformat 支持 我爱网络
awstats 的自定义 logformat 支持 awstats 支持自定义 logformat 不过支持的还不够 我的需求没法满足 比如： log 样例："GET http://proxy.ipcn.org/proxylist.html HTTP/1.1" 这是squid记的log中的URL部分 (emulate_httpd_log on) 如果需要区分 proxy.ipcn.org 的话 logformat 没法定义 (希望只是我没搞定不会配) 尽管 awstats 提供了 %virtualname 等丰富的key 顺便也看了帮助和 awstats.pl 的代码 确认了默认几种LogFormat的格式和正则匹配方法 LogFormat=1 是带 Refer 和 User-Agent 的log native combined log format (NCSA combined/XLF/ELF log format) # 1 - Apache or Lotus Notes/Domino native combined log format # (NCSA combined/XLF/ELF More...Posted by windtear at 11:20 PM
May 20, 2006
招行专业版 CMB 证书与注册表 我爱网络
http://windtear.net/archives/2006/05/20/000987.html 招行专业版 CMB 证书与注册表 2006-03-22 23:53 我爱网络 批一下招行专业版的证书恢复 前天(2006-05-18)把专业版证书更新了 更新证书并不需要机密问题答案 只有恢复证书才需要回答机密问题 然后就看看证书的文件和注册表信息 备份文件信息：文件名 用户姓名 文件后缀 dat 文件大小 1806 字节/Bytes 注册表信息： [HKEY_CURRENT_USER\Software\CMB\PB40] "Install Path"="C:\\Documents and Settings\\Administrator\\CMB\\PB40" "Security Path"="C:\\Documents and Settings\\Administrator\\CMB\\PB40\\SysData" "ProxyAutoDetect"=dword:00000001 "ProxyUsing"=dword:00000000 "ProxyAddr"="" "ProxyPort"="" "ProxyUser"="" "ProxyUserPassword"="" "Global Key"="00000000000000000000" [HKEY_CURRENT_USER\Software\CMB\PB40\servers] "ebank.sz1.cmbchina.com"=hex:1b,4d,03,00,07,f3,00,00 [HKEY_CURRENT_USER\Software\CMB\PB40\USERNORELATION] "用户姓名"="000001" More...Posted by windtear at 4:25 PM
May 19, 2006
备案爬虫机器人 beian spider - Isaac Ding/1.0 我爱网络
http://windtear.net/archives/2006/05/19/000986.html 备案爬虫机器人 beian spider - Isaac Ding/1.0 听别人提到 这里就记录一下 据说如果 /cert/bazs.cert 没有抓取成功 会全站抓取监控 下面这条请求是中国联通旗下的记录 供参考 211.94.161.55 - - [22/Jun/2005:01:21:31 +0800] "GET ///cert/bazs.cert HTTP/1.1" 200 2898 "-" "Isaac Ding/1.0" 211.94.161.55 （机器人IP） Isaac Ding/1.0 （User-Agent） /cert/bazs.cert inetnum: 211.90.0.0 - 211.97.255.255 netname: UNICOM descr: China United Telecommunications Corporation descr: No.133,Taiyun Building,Xidan North Street descr: Xicheng District,Beijing,China More...Posted by windtear at 11:40 PM
May 18, 2006
通过脚本简单分析DNS log 我爱网络
http://windtear.net/archives/2006/05/18/000984.html 通过脚本简单分析DNS log defaultfile="bind.log" file=${1:-$defaultfile} date=$(date +%Y%m%d-%H%M%S) outfile="dnsquery-$date.log" awk '/_.trackdnsserver/ {print $4" "$6}' $file > $outfile 然后替换掉 unknown 和 10/8 172.16/12 192.168/16 （perl -pi -e 's/ unknown__/ /g' $outfile 等） 再归整一下 便于后续统计 比如要是按C段统计 perl -pi -e 's/(\d+.\d+.\d+.\d+)#\d+: (\d+.\d+.\d+).\d+_.*$/\2.0 \1/g' $outfile 之后可以用sort得出某一C段用户使用的DNS服务器的次数情况 sort $outfile |uniq -c | sort -nr +0 有了数据可以进行各种各样的分析和挖掘 相关文章： dns 追踪方案：跟踪用户所用的域名服务器 More...Posted by windtear at 11:36 PM
May 15, 2006
dns 追踪方案：跟踪用户所用的域名服务器 我爱网络
http://windtear.net/archives/2006/05/15/000983.html dns 追踪方案：跟踪用户所用的域名服务器 简单说就是追一下每个用户都用的什么DNS 收集之后后续可以做的事就多了 非本文讨论范围之类 本文讨论如何追踪 最简单的方案就是设一个和用户所有IP相关的不存在子域名 做一个假的该域名下的图片页面嵌在页面里面不显示 相关IP是指尽量最全的IP： 比如可能存在局域网透明网关、代理，页面本身也有squid或级联squid加速的情况 前台图片的简单实现如下： <img src=http://221.217.164.134__166.111.X.X_.trackdnsserver.ipcn.org style="display:none"> 当然 src 是程序动态吐出去的 比如取的 REMOTE_ADDR 从X-Forwarded-For取的 后续的分析本文略 dns log 配置参见：DNS log dns log 分析参见：通过脚本简单分析DNS log 相关文章： 归整 ipcn ipchina 等域名 整理 DNS Server squid 反向加速/代理加速模式下 本机apache2的原IP log module - mod_extract_forwarded squid 反向加速模式下 本机apache的原IP log module - mod_extract_forwarded More...Posted by windtear at 11:54 PM
May 13, 2006
用 find xargs perl 批量替换目录下所有文件某一部分 我爱网络
http://windtear.net/archives/2006/05/13/000982.html 用 find xargs perl 批量替换目录下所有文件某一部分 用了 Google Analytics 做访问追踪 后来才想到的这个问题 主要是因为牵涉到了跨域cookie设置的问题 然后就用find xargs perl替换了所有页面的pv域代码： perl -pi -e 's/pv.ipcn.org/pv.windtear.net/g' index.html find archives -type f -name '*.html' | xargs perl -pi -e 's/pv.ipcn.org/pv.windtear.net/g' 相关文章： find 和 exec xargs bash scripts sample - for loop v.s. xargs More...Posted by windtear at 11:51 PM
May 11, 2006
gcc 的大文件(大于2G)支持参数 我爱网络
gcc 的大文件(大于2G)支持参数 2G = 2147483647 Bytes # echo 2*1024^3 | bc 2147483648 这里提一下 gcc 的大文件支持编译参数 -D_FILE_OFFSET_BITS=64 -D_LARGEFILE_SOURCE -D_LARGEFILE64_SOURCE 比如可以在 gcc 编译之前设置 CFLAGS 环境变量 export CFLAGS = -O2 -D_FILE_OFFSET_BITS=64 -D_LARGEFILE_SOURCE -D_LARGEFILE64_SOURCE gcc 时直接带上大文件支持参数也行 相关文章： apache 不打开大文件支持情况下 log 到2G的问题 More...Posted by windtear at 11:31 PM
May 10, 2006
[freeip] 清华大学校园网现行免费地址域列表20060404更新 我爱网络
http://windtear.net/archives/2006/05/10/000980.html [freeip] 清华大学校园网现行免费地址域列表20060404更新 http://netsupport.tsinghua.edu.cn/mfdzb/freeip.htm 2006年4月4日6:10开始生效 http://www.nic.edu.cn/RS/ipstat/internalip/ (仅教育网可以访问) 全部信息均可在水木社区网络资源版[NetResources]查看 windtear May 10 Re: freeip 20060404 (cernet&THU 免费地址列表 windtear May 10. Re: freeip 20060404 freeip_mask windtear May 10 Re: freeip 20060404 freeip_mask_digit windtear May 10 Re: freeip 20060404 freeip.bat windtear May 10 Re: freeip 20060404 freeip.pac windtear May 10 Re: freeip 20060404 freeip_mask_digit_net windtear May 10 Re: freeip 20060404 freeip_mask_digit_host windtear May More...Posted by windtear at 11:45 PM
May 8, 2006
研究解决awstats等日志分析软件对日志数据的时间顺序敏感性 我爱网络
研究解决awstats等日志分析软件对日志数据的时间顺序敏感性 问题提出： awstats分析多个日志文件时，如果日志文件之间的时间不是顺序排列的 比如不是 access.log.20060506 access.log.20060507 样子的多个文件 而是 access.log.20060507.ip1 access.log.20060507.ip2 access.log.20060507.ip3 显然 三个IP产生的日志文件的时间各自都是顺序的 但三者之间是个混乱的先后关系 此时 如果用awstats顺序处理三个日志文件 得到的结果会有错 如： awstats-6.5/wwwroot/cgi-bin/awstats.pl -update -config=ipcn.org Update for config "/etc/awstats/awstats.ipcn.org.conf" With data in log file "/opt/squid/logs/access.log.20060507.ip2"... Phase 1 : First bypass old records, searching new record... Direct access to last remembered record has fallen on another record. So searching new records from beginning of log More...Posted by windtear at 8:24 PM
May 7, 2006
继续推广 Windows 下 FTP Server 支持 ls-lR.gz 我爱网络
http://windtear.net/archives/2006/05/07/000977.html 继续推广 Windows 下 FTP Server 支持 ls-lR.gz 其实主要还是推广 Windows 下的 FTP Server 支持 ls-lR.gz 目的是便于FTP搜索引擎索引 (比如我的 IPCN FTP搜索引擎就支持) Linux *NIX 下支持这个很简单 而且一般大站点都支持 脚本也很简单 cd /var/ftp ls -lR > ls-lR gzip ls-lR 然后加入crontab定时任务定时执行就可以了 windows 下就没这么方便了 当然看了本文就方便了 本文算是对2004-06-20 Windows 平台下为 FTP Server 生成 ls-lR/ls-lR.gz 文件 http://windtear.net/archives/2004/06/20/000445.html 一文的更新 另外也是再向FTP站长宣传一下对 ls-lR.gz 的支持和生成方法 涉及的软件GnuWin32也已有更新 比如之前 ls 在 fileutils 包里面 现在在 coreutils 里面 当然 ls More...Posted by windtear at 11:43 PM
May 5, 2006
整理 IPCN FTP 搜索引擎 我爱网络
http://windtear.net/archives/2006/05/05/000976.html 整理 IPCN FTP 搜索引擎 两部分 1. 整理站点信息 2. 修改搜索代码 站点信息牵涉： FTP地址格式转换脚本 添加站点脚本 删除站点数据脚本 更新站点数据 手工确认了已不可用的站点 然后删除 搜索代码包括： 回顾CVS使用（较久不怎么用的 tag branch等） 整理搜索代码 修改代码 编译更新 TODO list： 站点地图和 site 搜索 索引版本多关键词搜索 更新策略更新脚本完善 发动大家支持ls-lR.gz标准 同时改进LIST深入挖掘 相关日记文章： 发信人: windtear (追求完美), 信区: P.windtear 标 题: 把FTP搜索整了整 发信站: 水木二站 (Fri May 5 19:42:43 2006), 站内 http://search.ipcn.org/ 更新了一大堆站点（添加一些 删除一些） 加了google广告 整了代码 回头有时间改 发信人: windtear (追求完美), 信区: More...Posted by windtear at 9:49 PM
May 3, 2006
Firefox 1.5.0.3 Released - 更新 http://firefox.ipcn.org 提供镜像下载 我爱网络
http://windtear.net/archives/2006/05/03/000974.html Firefox 1.5.0.3 Released - 更新 http://firefox.ipcn.org 提供镜像下载 Firefox 1.5.0.3 Released http://www.mozilla.com/firefox/ 顺便更新了 http://firefox.ipcn.org/ http://firefox.windtear.net/ http://www.mozilla.com/products/download.html?product=firefox-1.5.0.3&os=win&lang=en-US Mozilla Firefox 1.5.0.3 Release Notes http://www.mozilla.com/firefox/releases/1.5.0.3.html What's New in Firefox 1.5.0.3 Firefox 1.5.0.3 is a security update that is part of our ongoing program to provide a safe Internet experience for our customers. We recommend that all users upgrade to this latest version. * More...Posted by windtear at 1:30 PM
May 1, 2006
颁发了水木社区 TotalCommander 奖状 我爱网络
http://windtear.net/archives/2006/05/01/000973.html 颁发了水木社区 TotalCommander 奖状 Xbeta之前较早就提议五一颁发TC奖状 后来决定颁发两部分 一是对TC的贡献 二是对TotalCommander版面的贡献 顺便感谢freshtime帮忙制作了奖状模板 ASCII 图片 共颁发了9个奖状 TC 杰出贡献奖 shanny zbx TotalCommander 热心网友奖 xuanqing fiend iamcj soff pinacle frank zhouzhenwu 各节选一个如下：（不是term下 看不到颜色背景 pp的图标看不到了 发信人: windtear (追求完美 水木第一), 信区: TotalCommander 标 题: [奖状] TC 杰出贡献奖 shanny 发信站: 水木社区 (Mon May 1 20:15:08 2006), 站内 ?? ?? Total Commander @ newsmth ￣￣ Files Mark Commands Net Show More...Posted by windtear at 11:47 PM
