httpsでクロールするとエラーになるとか 自社ウェブのコンテンツをクロールして、索引を作ってくれる会社と契約をしています。こっちが用意したXMLファイルをGETしてそこに列挙されているURIをクロールするという動作をしている模様。全部クロールすると10時…