« NaverBotがきた。User-Agentでアクセスを禁止する | メイン | 特定のサイズのファイルを作る »

[apache][perl] ログから User-Agent(ユーザエージェント)のリストを得る

あとで読む
cat [access_log] | perl -pe 's/^.*"(.+?)"$/$1/' 
 | sort | uniq -c|sort -gr|head

Apache のログから User-Agent(ユーザエージェント)だけを抽出してカウントして、上位10位を表示する。これによってむやみにクロールしてくるロボットくんたちを見つけることができるんだ。

そんなロボットを見つけたら damerobot の烙印を押そうよ。(NaverBotがきた。User-Agentでアクセスを禁止する (groundwalker.com) 参照)

Trackbacks

Trackback URL:
http://groundwalker.com/mt/gwtb.cgi/356

« NaverBotがきた。User-Agentでアクセスを禁止する | メイン | 特定のサイズのファイルを作る »

スポンサー

関連ブログ

あわせて読みたい

関連キーワード

Powered by
Movable Type 3.34

連絡先