한 함수에서 Request를 두번 쓰면 한번만 작동하는 문제 발생

미해결질문
Seungwoon Song 프로필
for index, category_link in enumerate(category_links):
            yield scrapy.Request(url='http://corners.gmarket.co.kr/'+category_link, callback=self.parse_subcategory, meta={'category_name':  category_names[index]})
for index, category_link in enumerate(category_links):
            yield scrapy.Request(url = 'http://corners.gmarket.co.kr/'+category_link, callback = self.parse_item, meta = {'category_name':  category_names[index]})
      

위와 같이 한 함수 내에서 Request를 두번 요청하는 경우 한번은 작동하지 않는 문제가 발생되는데 혹시 해결 방법을 아실까요/
잔재미코딩 프로필
잔재미코딩 1달 전

안녕하세요. 아마 URL이 중복되어서, request가 두번 요청이 안되는 것으로 보입니다. 각 URL을 보시면 corners.gmarket.co.kr 로 앞의 URL이 동일해서요.

이 부분은 강좌에서 설명한 부분이 있고, 첨부드린 프로젝트 코드에서도 확인해보실 수 있는데요.

settings.py 에서 다음 항목에 앞에 # 을 삭제해서, enable 하시면, 중복 URL에 대해서도 요청이 가능합니다.

감사합니다.

DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스