自サイトを都合で毎日クロールしています。wgetの--recursiveオプションをつけてサイトごとクロール。で、あるディレクトリ以下はクロールしてはいけないという条件ができました。特定ディレクトリ以下を除外するには--exclude-directoriesオプションをつけ…