네이버 주식 사이트 크롤링 관련 문의드립니다
461
3 asked
바로 실전 크롤링해보기 :네이버 주식 사이트 크롤링하기 강의에서 인기검색종목을 크롤링하는 예제를 실습해보고 적용하기 위해 더보기를 들어가 인기검색어가 30개까지 나와 있는 페이지에서 각 항목들을 크롤링 하려했으나 실행이 되지 않았습니다.
작성한 코드는 이것이었습니다.
import requests
from bs4 import BeautifulSoup
res=requests.get('https://finance.naver.com/sise/lastsearch2.nhn')
soup=BeautifulSoup(res.content, 'html.parser')
data=soup.select('#contentarea > div.box_type_l > table > tbody > tr:nth-child(3) > td:nth-child(2) > a')
data
그러나 data를 출력했을 땐 [ ] 이런 식으로 빈 리스트만 나왔습니다.
구글링해본결과 페이지를 켰을 때 자바스크립트에 의해 동적으로 변동되는 페이지는 값을 불러올 수 없어 그런다는데 이 사례도 동일한 경우인지 궁금해서 문의를 남깁니다.
Answer 1
0
아래 코드 그대로 복붙해서 적용해보셔요.
제가 해보니 동적웹페이지 때문이 아니고, 선택자 문제인것 같네요.
저도 이거 해보느라 시간 쪼끔 걸렸네요 ㅎ
도움이 되었길..
코드 -------------------
import requests
from bs4 import BeautifulSoup
res=requests.get('https://finance.naver.com/sise/lastsearch2.nhn')
soup=BeautifulSoup(res.content, 'html.parser')
tr_list = soup.select('div.box_type_l table tr')
for item in tr_list[3:]:
if item.select_one("a"):
title = item.select_one("a")
print(title.get_text())
33강 9:51 excercise55.
0
16
1
섹션2 - 32강 연습문제 48번 질문
0
30
0
주피터 노트북 사용법 강의 관련
0
30
1
exercise 20. 데이터 구조(리스트)
0
32
0
65강 소리
0
35
1
섹션 5 CSS selector사용해서 클로링하기2의 커리큘럼 일정 부재?
0
49
2
크롤링, 영상을 따라해도 제미나에게 물어봐도 안되요
0
53
1
정규표현식 및 여러 코드 꼭 외워야 하나요?
0
59
1
리스트 함수형도 정수 데이터 받을 수 있나요?
0
60
1
크롤링 관련 질문
0
75
1
문제 답이 없는 버전은 없나요?
0
89
1
requests, BeautifulSoup 임포트 부분에 대해 문의드립니다.
0
96
1
업데이트 강의
0
119
2
선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?
0
146
2
연습용 예제 파일
0
87
1
lxml 관련 오류
0
117
1
SAVE Request 창 띄우는 법
0
106
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다. 2
0
90
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다.
0
113
1
예제 2, 4, 6에 대한 풀이 방식 질문.
0
104
1
문제 파일
0
93
1
pdf 파일 내 코드 복붙시 공백
0
315
1
데이터 저장 강좌 문의 건
0
108
1
" " 와 ' '의 차이를 알고 싶습니다
0
264
1