inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

scrapt shell re() 정규표현 적용시 에러

173

배유나

작성한 질문수 2

0

강사님이 알려주신데로 re를 쓰게되면 이런 에러가 나는데 방법이 있을까요...?

scrapy selenium 웹-크롤링

답변 1

0

잔재미코딩 DaveLee

안녕하세요. 다음과 같이 정상동작을 하는데요.

아마도 css selector 선택이 잘못되었을 확률이 높아보여요. type 으로도 get() 까지 나오는 값이 어느 타입인지도 확인해보시면 좋을 것 같습니다.

 ecommerce/ecommerce  scrapy shell 'http://corners.gmarket.co.kr/Bestsellers'

[s] Available Scrapy objects:

[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)

[s]   crawler    <scrapy.crawler.Crawler object at 0x7f818292d5d0>

[s]   item       {}

[s]   request    <GET http://corners.gmarket.co.kr/Bestsellers>

[s]   response   <200 http://corners.gmarket.co.kr/Bestsellers>

[s]   settings   <scrapy.settings.Settings object at 0x7f8182928e10>

[s]   spider     <DefaultSpider 'default' at 0x7f8183983190>

[s] Useful shortcuts:

[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)

[s]   fetch(req)                  Fetch a scrapy.Request and update local objects

[s]   shelp()           Shell help (print this help)

[s]   view(response)    View response in a browser

In [1]: view(response)

Out[1]: True

In [2]: response.css('div.best-list li > a::text')[1].re('(\w+)')

Out[2]: ['프리메라', '프리메라', '리페어빈', '시카', '크림', '40ml', '기획세트']

In [2]: response.css('div.best-list li > a::text')[1].re('(\w+)')

Out[2]: ['프리메라', '프리메라', '리페어빈', '시카', '크림', '40ml', '기획세트']

In [3]: type(response.css('div.best-list li > a::text')[1])

Out[3]: scrapy.selector.unified.Selector

In [4]: type(response.css('div.best-list li > a::text'))

Out[4]: scrapy.selector.unified.SelectorList

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

626

1

scrapy를 jupyter 환경에서 할 수 있나요

0

360

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

313

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

221

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

279

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

335

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

292

3

PhantomJS 문의

0

294

1

selenium 문의

0

329

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3004

1

on error 해결 방법 질문

0

356

1

[팁] 윈도우 cmd 커맨드

0

347

1

[팁]Chrome User Agent 아는법

0

328

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

254

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

237

1

CSS Selector 에서 질문이 있습니다.

0

435

2

pip install scrapy 오류

0

484

1

셀레니움 실행불가

0

1578

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

227

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

287

1

강의교안자료 받을수있을까요?

0

263

1

[강의 9:27관련 질문] price, title 열 위치

0

160

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

368

1

css 셀렉터에 대해 질문이 있습니다.

0

147

1