もうちょっと上手い検索の仕方はないのかね、GOOのWEBクローラ。
http://help.goo.ne.jp/help/article/704/
ichiro は、皆様の Webサーバに負担をかけないために、以下のルールに従います。
4)適切な間隔で収集します
収集間隔は状況によって変更されますが、動画等のファイルを収集した後は、長めに間隔をあける等の制御を行っています。
|
……一日に3000回もアクセスしてくるのは適切なんですかねぇ。
robot.txtだと反映に時間が掛かるので、htaccessでキック。
本日もお美しゅうございます、閣下。 |