-
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
실전 크롤링과 강력한 크롤링 기술 팁2: 네이버 사이트 크롤링 강의중 질문이 있습니다.
20.01.16 17:46 작성 조회수 387
1
네이버 사이트 급상승 검색어 키워드를 하던중 수업의 내용을 따라 코드를 작성해 보니...
아무런 검색이 되지 않아 질문드립니다 ㅠㅠ
참고로 pdf에 있는 크롤링 코드로도 해보았지만...아무런 값이 출력되지 않습니다 ㅠ
확인 부탁드리겠습니다!
답변을 작성해보세요.
4
Howoo Jang
2020.01.18
안녕하세요.
윗분 말씀대로 실시간 관련 소스는 저 부분이 전부입니다. 그래서 www.naver.com 말고 급상승 검색어를 클릭하시고 DataLab 페이지로 들어가세요. 그리고 F12 클릭하시면 실시간 검색어 순위가 나타날텐데요. 거기서 크롤링을 하시면 되겠습니다. 아래 코드를 삽입하시면 작동합니다. 첫번째 코드에 있는 headers 부분은 네이버가 무슨 이유인지 모르겠지만 싸이트에 접속을 못하게 해서 우회용도로 쓰인거라 강의에서 다룬 내용과 같은 코드인 두번재 코드를 삽입해서 작동이 되는지 먼저 확인을 해보시고, 안되면 첫번재 코드를 넣어서 작동시켜 보시길 바랍니다.
첫번째 코드
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
url = 'https://datalab.naver.com/keyword/realtimeList.naver?where=main'
res = requests.get(url, headers = headers)
soup = BeautifulSoup(res.content, 'html.parser')
data = soup.findAll('span','item_title')
for item in data:
print(item.get_text())
두번째 코드
res1 = requests.get('https://datalab.naver.com/keyword/realtimeList.naver?where=main')
soup1 = BeautifulSoup(res.content, 'html.parser')
data1 = soup.findAll('span', 'item_title')
for item in data1:
print(item.get_text())
1
Jayden
2020.01.30
질문이 있습니다. 첫번째 소스에
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
각 브라우저의 버전 같은 값을 headers 변수에 저장하셨는데..해당 코드의 의미가 무엇인지 궁금합니다.
0
0
답변 4