groundwalker.com
cat [access_log] | perl -pe 's/^.*"(.+?)"$/$1/' | sort | uniq -c|sort -gr|head
Apache のログから User-Agent（ユーザエージェント）だけを抽出してカウントして、上位10位を表示する。これによってむやみにクロールしてくるロボットくんたちを見つけることができるんだ。
そんなロボットを見つけたら damerobot の烙印を押そうよ。（NaverBotがきた。User-Agentでアクセスを禁止する (groundwalker.com) 参照）