네이버 주식 <해외 지수> 크롤링 중 문제에 관한 질문
599
작성한 질문수 1
안녕하세요, 선생님.
풀스택 개발자를 향해 열심히 학습하고 있는 개린이입니다.
크롤링기초 부트캠프 > 네이버 증권 크롤링 챕터 학습 중 아래의 코드를 사용했는데,
정상작동을 하지 않아 어떤 문제가 있는 지 궁금하여 문의드립니다.
------------------------------------------------------------------------------
import requests
from bs4 import BeautifulSoup
res = requests.get("https://finance.naver.com/main/main.nhn")
soup = BeautifulSoup(res.content, 'html.parser')
items = soup.select('#container > div.aside > div.group_aside > div.aside_area.aside_stock > table > tbody > tr > th > a')
for item in items:
print(item.get_text())
# div.aside_area.aside_stock > table > tbody > tr > th > a (CSS 셀렉터 활용)
네이버 주식(https://finance.naver.com/main/main.nhn) 우측에서
해외주식 -> 다우산업 -> 크롬에서 검사버튼 클릭 -> COPY (SELECTOR)를 통해 추출한 내용입니다.
해외주식 지수(숫자)가 아닌 단순 '명칭'만 뽑는 코드를 작성한 점 참고 부탁드립니다.
어떠한 오류가 있는 지 검토해주신 후 개선책이 있다면 답변 부탁드립니다.
좋은 강의 감사합니다.
------------------------------------------------------------------------------
답변 1
0
안녕하세요, 제가 해보니 크롤링 할때 그냥 크롤링 코드 실행하시면 안되고,
자신의 유저 에이전트 정보를 넣어야 크롤링이 되더라구요.
유저 에이전트 정보는 구글에 검색하시면 나오니 그거 복사해서
아래의 코드에 붙여넣기 하시면되요.
저도 첨에 안되서 알아내는데까지 시간 엄청 잡아먹었네요.
아무튼 도움이 되었으면 좋겠네요ㅎ.
크롤링 코드 -----------------------------------------
import requests
from bs4 import BeautifulSoup
url = "https://finance.naver.com/main/main.nhn"
headers = {"User-Agent":"자신의 유저에이전트 정보"}
res = requests.get(url, headers = headers)
soup = BeautifulSoup(res.content, 'html.parser')
trs = soup.select("div.group_aside div.aside_stock tr.up")
for item in trs:
print(item.select_one("th > a").get_text().strip())
크롤링, 영상을 따라해도 제미나에게 물어봐도 안되요
0
27
1
정규표현식 및 여러 코드 꼭 외워야 하나요?
0
35
1
리스트 함수형도 정수 데이터 받을 수 있나요?
0
45
1
크롤링 관련 질문
0
62
1
문제 답이 없는 버전은 없나요?
0
74
1
requests, BeautifulSoup 임포트 부분에 대해 문의드립니다.
0
83
1
업데이트 강의
0
97
2
선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?
0
123
2
연습용 예제 파일
0
76
1
lxml 관련 오류
0
106
1
SAVE Request 창 띄우는 법
0
89
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다. 2
0
72
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다.
0
93
1
예제 2, 4, 6에 대한 풀이 방식 질문.
0
89
1
문제 파일
0
78
1
pdf 파일 내 코드 복붙시 공백
0
291
1
데이터 저장 강좌 문의 건
0
95
1
" " 와 ' '의 차이를 알고 싶습니다
0
241
1
Exercise 22. 문자열 다루기 (strip)
0
131
1
list함수로 리스트 선언하면 실패하는데 이유는 무엇입니까?
0
187
1
셀 삽입후 바로 기입이 가능합니까?
0
138
2
주피터 노트북 마우스 스크롤? 오류
0
1541
2
등호 2개('==')의 의미가 뭐죠?
0
457
2
페이지가 넘어갈 때 url 변하지 않는 경우
0
261
1





