週末からちょっとウェブが不調。
あまり更新されない画像やPDFファイルを定期的にクロールして、それらへのリクエストはバックエンドCMSへ流れないようにしているのですが、どうもこのクローラがバックエンドへ過度に負荷をかけている。。みたい。
以前の古い環境では特に問題なかったんですが、新しい環境になってなんだか調子が悪い。
クローラといってもwgetでサイトコピーしているだけなんですが。
ちょっと調整が必要だろうということでこんなオプションを追加。
--wait=2 --random-wait
コンテンツをフェッチするときに0〜2秒間でランダムにウェイとしてくれます。
