• 카테고리

    질문 & 답변
  • 세부 분야

    프로그래밍 언어

  • 해결 여부

    미해결

네이버 실시간 검색어 크롤링 질문드립니다.

20.03.20 03:30 작성 조회수 110

0

네이버 메인에서 페이지 소스 보기를 해도 이제 더이상 실시간 검색어가 찾아지질 않습니다. 이 경우에 어떻게 크롤링해야 하는지 궁금합니다.

두번째 질문은 네이버 데이터랩 자료를 크롤링하려고 하는데, 자꾸 불완전한 마지막 행이 발견되었다는 에러메시지가 뜹니다. 소스 코드로는 

url<-"https://datalab.naver.com/keyword/realtimeList.naver?where=main"

b<-readLines(url,encoding="UTF-8")

를 입력하였는데, 이 경우 b의 값이 제가 아는 페이지 소스값과 너무 다르게 나와서 혼란스러운데 이 경우 데이터랩의 자료를 어떻게 가져와야 하나요?

답변 1

답변을 작성해보세요.

1

안녕하세요. 강선미 님

우선 답변이 늦어져서 죄송합니다.

최근에 네이버 실시간 검색어 페이지에 대한 리뉴얼이 있었습니다.

다시말해, 네이버에서 실시간 검색어를 보여주는 방식이 바뀌었고, 기존의 방식으로는 크롤링이 불가능합니다.

제가 살펴본 결과, 기본적인 방식으로는 크롤링이 힘들 것같고 셀레늄을 이용해서 크롤링 해야할 것 같습니다.

(셀레늄의 경우 웹크롤링 실전편강의에서 다룹니다)

크롤링 입문편 강의를 추후에 점검 할때에 반영해서 (강의추가촬영) 업로드하도록 하겠습니다.