• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 질문있습니다.

19.08.19 01:36 작성 조회수 191

0

위실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 위와 같이 메인카테고리와 서브카테고리를

추출하는 부분을 테스트 해보니 메인카테고리만 추출하는 for문과 서브카테고리를 추출하는 for문이 

개별적으로 돌리면 정상적으로 잘 구동되는데 위와 같이 모두 활성화하고 parse_mainpage에서 호출하면 

메인카테고리만 추출하는 부분만 구동되고 함수가 종료되어 버립니다. 혹시 돌리기 위한 추가적인 설정이 필요한가요?

parse_item, parse_subcategory 모두 try-catch문에는 아무 에러가 없습니다. 

답변 3

·

답변을 작성해보세요.

0

best님의 프로필

best

질문자

2019.08.20

혹시 하나 더 여쭤보고자 하는데요 강의 목록중에 "Scrapy를 위한 기본 지식: 객체지향 프로그래밍 이해3"을 수강하려고 하면 아래처럼 검은 화면만 나오고 강의가 안나오는데 이게 저만 그런건지 원래그런건지 여쭤보고자 합니다. 

0

best님의 프로필

best

질문자

2019.08.20

아 말씀해주신대로 해당 설정을 추가하니 정상적으로 잘 구동되었습니다. 감사합니다~

0

안녕하세요. 코드를 어떻게 작성하였는지 일부분만 있기는 해서, 애매한 부분도 있긴 한데요.

우선 강좌에서, 후반부즈음에 다음 코드를 settings에서 활성화하시라는 이야기를 드린적이 있는데요.

동일한 크롤링 주소에 대해서는 한번만 크롤링을 하게 되는데요. 현재 코드 일부를 봐서는 동일한 주소를 두번씩 크롤링을 하는 것으로 보입니다. 이때에는 settings에서 동일한 크롤링을 여러번 할 수 있도록 다음 설정을 활성화해주셔야 합니다.

감사합니다.

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'