두번 쓰면 한번만 작동
217
작성한 질문수 2
안녕하세요.
이미 질문하신 분들의 질문을 다시 또 질문 드리게 되었네요.
3분 47초를 보시면 두번쨰 for 문에서 parse_subcategory로 넘어가는데요. 선생님께서 빨간 네모 치신 부분은 parse_maincategory 입니다. 즉, 잘못보시고 박스치신거 같습니다. 이것은 첫번째 for문에서 parse_maincategory로 넘어가서 거기에 있는 print문을 작동시킨 것 이고요.
그리고 두분의 질문을 읽어보면, 수업 어딘가에서 설명을 하셨다고 하셨는데. 저도 어디서 설명을 하셨는지 기억이 안납니다. 만약 저 혼자만의 기억 문제라면 분명 저의 문제이겠지만. 저 말고도 2명이 더 있다는 것은 너무 빠르게 집고 넘어가셨던가 아니면 선생님께서 편집을 하시다가 잘라낸게 아닌가 생각이 듭니다. 혹시 시간이 되신다면, 편집으로 조금만 집고 넘어가 주셨으면 합니다.
긴 글 읽어 주셔서 감사합니다!
답변 2
1
안녕하세요.
지마켓 크롤링하며, scrapy 실전 활용법 익히기5 영상에, 추가 설명을 붙여서, 업데이트하였습니다.
가장 큰 문제는 parse_subcategory 가 호출이 안될 수 있는 부분이고, 이 부분은 settings 에 다음 설정을 해줘야 하는 것인데요.
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'
코드상으로는 이미 해당 설정이 되어 있지만, 제가 드린 코드가 아닌, 직접 작성을 하시다보면, 이 부분이 놓칠 수 있는 부분 같아요. 다른 영상 어디선가 설명은 한 것으로 생각은 하고 있는데, 제가 놓친 것이 아닌가 해서, 다시 한번 많은 시간을 들여서, 녹화와 편집을 다시 하였습니다.
빨간 네모를 친 부분은 강의를 따라가시는데에는 큰 무리가 되는 부분은 아니라서, 위 추가 녹화/편집된 부분이라면, 괜찮을 것 같습니다. 감사합니다.
코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다
0
626
1
scrapy를 jupyter 환경에서 할 수 있나요
0
360
1
[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.
0
313
1
[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문
0
221
1
[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문
0
279
1
xml을 parsing할때 <을 < 로 인식합니다.
0
334
1
pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ
0
292
3
PhantomJS 문의
0
294
1
selenium 문의
0
329
1
브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의
0
3004
1
on error 해결 방법 질문
0
356
1
[팁] 윈도우 cmd 커맨드
0
347
1
[팁]Chrome User Agent 아는법
0
327
1
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문
0
254
1
동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?
0
237
1
CSS Selector 에서 질문이 있습니다.
0
435
2
pip install scrapy 오류
0
483
1
셀레니움 실행불가
0
1578
1
실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.
0
226
1
언제 get_text()를 사용하고 또 언제 .text를 사용하나요?
0
287
1
강의교안자료 받을수있을까요?
0
263
1
[강의 9:27관련 질문] price, title 열 위치
0
160
1
div에 있는 클래스가 2개이면 어떻게 하나요?
0
368
1
css 셀렉터에 대해 질문이 있습니다.
0
147
1





