inflearn logo
강의

講義

知識共有

現在最強のクロール技術: ScrapyとSeleniumを征服

실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 질문있습니다.

390

best

投稿した質問数 7

0

위실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 위와 같이 메인카테고리와 서브카테고리를

추출하는 부분을 테스트 해보니 메인카테고리만 추출하는 for문과 서브카테고리를 추출하는 for문이 

개별적으로 돌리면 정상적으로 잘 구동되는데 위와 같이 모두 활성화하고 parse_mainpage에서 호출하면 

메인카테고리만 추출하는 부분만 구동되고 함수가 종료되어 버립니다. 혹시 돌리기 위한 추가적인 설정이 필요한가요?

parse_item, parse_subcategory 모두 try-catch문에는 아무 에러가 없습니다. 

웹-크롤링 selenium scrapy

回答 3

0

best

혹시 하나 더 여쭤보고자 하는데요 강의 목록중에 "Scrapy를 위한 기본 지식: 객체지향 프로그래밍 이해3"을 수강하려고 하면 아래처럼 검은 화면만 나오고 강의가 안나오는데 이게 저만 그런건지 원래그런건지 여쭤보고자 합니다. 

0

best

아 말씀해주신대로 해당 설정을 추가하니 정상적으로 잘 구동되었습니다. 감사합니다~

0

funcoding

안녕하세요. 코드를 어떻게 작성하였는지 일부분만 있기는 해서, 애매한 부분도 있긴 한데요.

우선 강좌에서, 후반부즈음에 다음 코드를 settings에서 활성화하시라는 이야기를 드린적이 있는데요.

동일한 크롤링 주소에 대해서는 한번만 크롤링을 하게 되는데요. 현재 코드 일부를 봐서는 동일한 주소를 두번씩 크롤링을 하는 것으로 보입니다. 이때에는 settings에서 동일한 크롤링을 여러번 할 수 있도록 다음 설정을 활성화해주셔야 합니다.

감사합니다.

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

 

 

 

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

626

1

scrapy를 jupyter 환경에서 할 수 있나요

0

361

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

313

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

221

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

279

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

335

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

292

3

PhantomJS 문의

0

294

1

selenium 문의

0

329

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3004

1

on error 해결 방법 질문

0

356

1

[팁] 윈도우 cmd 커맨드

0

347

1

[팁]Chrome User Agent 아는법

0

328

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

254

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

237

1

CSS Selector 에서 질문이 있습니다.

0

435

2

pip install scrapy 오류

0

484

1

셀레니움 실행불가

0

1578

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

227

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

288

1

강의교안자료 받을수있을까요?

0

263

1

[강의 9:27관련 질문] price, title 열 위치

0

160

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

368

1

css 셀렉터에 대해 질문이 있습니다.

0

147

1