inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

scrapy shell 질문

212

KIYAN

작성한 질문수 2

0

- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)
- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다
- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
 
scrapy shell 강의 진행중 환경은 제대로 나옵니다.
 
response.url 도 정상적으로 작동합니다.
 
그런데 css selector로 데이터를 가져오는 예시를 실행시키면
 
response에 저장된 모든 데이터들이 출력됩니다 <html>부터 </html>까지요
XPATH로 실행해도 마찬가지로 모든 데이터가 출력됩니다.
왜 그런지 모르겠네요 ㅠㅠ
 
 

scrapy shell 웹-크롤링 bigdata selenium

답변 1

0

잔재미코딩 DaveLee

안녕하세요.

이게 어떤 챕터의 몇분 몇초를 보시고 말씀하시는 것인지를 몰라서, 정확히는 어떤 이야기를 하시는지 모르겠습니다. response 자체는 모든 데이터가 출력이 될 것이고, css selector 로 지정한 데이터를 특정 변수에 넣으셨다면, 해당 변수를 출력하면, 해당 변수에 있는 내용만 출력되는 것이 맞긴 하거든요. 

이게 뭔가 문제가 있다면, 가장 쉬운 것 예를 들어, title 등이나 가장 간단한 태그를 선택해서 한번 해보시면 어떠실까요? 그리고 영상을 다시 보시면서 놓치신 부분이 있으신지, 한번 영상을 차근차근 보시면서, 그대로 쳐보시는 것은 어떠실까요?

0

KIYAN

강의는 Scrapy shell 사용법 익히기에 8분 31초 정도에 하는 head > text 로 제목 가져오는 부분부터 막힙니다. 

처음에 shelp 명령어는 정상적으로 작동하는데

response.css('head > title').get()

코드를 작성하고 shelp()를 치면

 

이런식으로 response에 저장된 내용들이 출력되고 shelp()내용이 출력됩니다. 

더 설명이 필요하신 부분 있으면 말씀해주세요

[REST API] data의 교환방식 질문

1

676

1

headless chrome 오류 문의

0

1495

1

Selenium 처리 속도 관련 문의드립니다.

0

1964

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

695

1

webdriver manager

0

451

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11722

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

453

1

scrapy option질문

1

247

1

response.css 질문드립니다.

0

377

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

404

1

selenium으로 여러페이지 수집시 질문

0

387

1

연습6 모범 코드: 로그인 시나리오 해보기

0

280

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2840

1

셀레니움 버전 변경으로 인한 코드 변경

0

1290

1

headless error

0

447

1

질문있습니다!

0

467

1

안녕하세요 선생님! 질문있습니다.

0

237

1

selenium&scrapy문의

0

286

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

924

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3395

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

301

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

615

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

693

1

scrapy 윈도우버전의 설명은 따로 없나요??

0

335

1