ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS

미해결질문
하록 프로필

settings.py의 ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS의 역할에 대해 한번만 더 설명해주시면 감사드리겠습니다.

 

'실전 크롤링: gmarket 크롤링하며, scrapy 실전 활용법 익히기5' 편의 09:19 쯤에 미리 작성하셨다고(?) 언급하신 것 같은데 하다보니 궁금해졌습니다.

 

감사합니다!

하록 프로필
하록 3달 전

ROBOTTXT는 다다음 강좌에 나오네요...ㅎ DUPEFILTER_CLASS만 부탁드립니다!

감사합니다.

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스