강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

허쿡님의 프로필 이미지
허쿡

작성한 질문수

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

연습문제로 풀어보기3 : 동적 웹사이트 크롤링과 활용

css_selector 질

작성

·

225

0

안녕하세요. 강의 잘 듣고 있습니다 :)

 

17강(연습문제로 풀어보기3 : 동적 웹사이트 크롤링과 활용)

1분49초 부분

 

개발자모드로(F12) 로 보면

<span class=news > 뉴스: 머신러닝 강좌가 나왔어요~~

로 나와있어서

 

elem = driver.find_element_by_css_selector("span.news")

로 코딩 후 run해 봤는데 데이터가 안 뜹니다. js로 html을 구현하는 방식으로 인해 위 코드가 먹히지 않는걸까요?

js파일에서 news로 해당 데이터를 포함시켜서 위와 같이

span 태그를 포함시키는 경우 데이터 추출이 안되는 건가  싶어서 여쭤봅니다.

 

감사합니다.

 

 

 

답변 1

0

왠지 강의에서 설명을 드린 듯한데요...

해당 부분은 웹페이지가 만들어진 후에, 더 업데이트되어 보여지는 부분이라서, 웹브라우저가 뜬 후, 일정 시간 기다린 후에, 크롤링을 해야 합니다. 이 부분 강의에서 어떻게 기다리는지까지 말씀드린 것 같아요. 다시 한번 관련 영상을 봐보시면서 이해해보시면 어떠실까요?

허쿡님의 프로필 이미지
허쿡
질문자

강의에서 설명 주셨지만 좀 더 자세히 여쭤보고 싶었습니다. 

답변 감사합니다~!

허쿡님의 프로필 이미지
허쿡

작성한 질문수

질문하기