[新規改訂版] これが本当のクローリングだ - 実践編 (人工知能収益化)

既存の講義通り

ヘッダーにUser-Agentのみを追加するとエラーで、ハングが発生しています。

 

追加オプションを付与してクロールが可能であることを確認しました。

解決方法は「クパンクロール - 最初のページをクロールする」講義ノートを確認してください^^

https://www.inflearn.com/course/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%ED%81%AC%EB%A1%A4%EB%A7%81- %EC%8B%A4%EC%A0%84/lecture/97373?tab=curriculum&volume=1.00