DUPEFILTER_CLASS 에 대해 설명 부탁드리겠습니다.
예제 파일에 DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupFiler' 로 되어 있던데 이게 뭔지요? 답변 부탁드리겠읍니다.
Câu trả lời 2
1
안녕하세요. 해당 설정은 URL이 중복될 경우, request가 두번 요청이 안됩니다. 중복 요청에 대해서는 드랍을 시키는데, 이를 해결하는 설정입니다. 예를 들어 예제의 각 URL을 보시면 corners.gmarket.co.kr 로 앞의 URL이 동일해서요.
이 부분은 강좌에서 설명한 부분이 있고, 첨부드린 프로젝트 코드에서도 확인해보실 수 있는데요.
settings.py 에서 다음 항목에 앞에 # 을 삭제해서, enable 하시면, 중복 URL에 대해서도 요청이 가능합니다.
감사합니다.
DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'0
강사님의 친절한 답변 감사합니다. scrapy 프레임워크 정말 감사합니다. selenium을 하다 보면 처리 속도가 문제가 되는데 이 부분에 대해 많은 도움이 되었읍니다. 하지만 scrapy 에서도 한가지 단점이 있는데 사용자가 입력해야 하는 부분의 처리 입니다. 이를 위해 selenium과 scrapy를 결합한 형태로 사용해야 할 거 같은데 이 경우에도 scrapy의 장점을 취할 수 있는지 궁금합니다. 가능하시면 양 솔루션의 장점을 같이 얻을 수 있는 예제 샘플 제공해 주시면 너무 감사하겠습니다. 강사님 덕분에 그동안 어려웠던 부분 많이 해결하고 있습니다. 아울러 적은 비용으로 수준높은 지식을 주시는 강사님 감사합니다. 늘 많은 지식 주시고 항상 발전 있으시길 기원 드립니다.
코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다
0
625
1
scrapy를 jupyter 환경에서 할 수 있나요
0
359
1
[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.
0
313
1
[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문
0
220
1
[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문
0
278
1
xml을 parsing할때 <을 < 로 인식합니다.
0
333
1
pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ
0
291
3
PhantomJS 문의
0
293
1
selenium 문의
0
328
1
브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의
0
3003
1
on error 해결 방법 질문
0
356
1
[팁] 윈도우 cmd 커맨드
0
346
1
[팁]Chrome User Agent 아는법
0
327
1
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문
0
253
1
동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?
0
237
1
CSS Selector 에서 질문이 있습니다.
0
434
2
pip install scrapy 오류
0
482
1
셀레니움 실행불가
0
1577
1
실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.
0
225
1
언제 get_text()를 사용하고 또 언제 .text를 사용하나요?
0
287
1
강의교안자료 받을수있을까요?
0
262
1
[강의 9:27관련 질문] price, title 열 위치
0
159
1
div에 있는 클래스가 2개이면 어떻게 하나요?
0
367
1
css 셀렉터에 대해 질문이 있습니다.
0
147
1