もうちょっと上手い検索の仕方はないのかね、ＧＯＯのＷＥＢクローラ。

http://help.goo.ne.jp/help/article/704/ ichiro は、皆様の Webサーバに負担をかけないために、以下のルールに従います。 ４）適切な間隔で収集します 収集間隔は状況によって変更されますが、動画等のファイルを収集した後は、長めに間隔をあける等の制御を行っています。

……一日に３０００回もアクセスしてくるのは適切なんですかねぇ。
robot.txtだと反映に時間が掛かるので、htaccessでキック。