現在最強のクロール技術: ScrapyとSeleniumを征服

こんにちは。

残材ミコーディング Dave Lee です。

「ジマーケットをクロールし、スクレイピ本番活用法を身につける5」映像に、追加説明をつけて、アップデートしました。

その画像でparse_subcategoryを呼び出す部分のコード説明があります。

この部分が私が差し上げたコードに加えて、直接コードで書くなら、settings に追加的に次の設定をしてくれなければならないのです。

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

他の映像どこかがこの部分について私が説明したと思いはしているのに、

私が逃したのではなく、もう一度多くの時間をかけて、録画と編集を再びしました。

もっと理解に役立つと思いますので、共有いたします。

ありがとうございます。