-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
Pagesource에 명시적으로 드러나지 않은 정보의 크롤링
21.01.17 04:52 작성 조회수 166
0
안녕하세요. 강의를 듣다가 제가 원하는 내용을 정확히 찾지 못해 문의드립니다.
현재 제가 크롤링하고싶은 데이터가 pagesource에 명시적으로 나오지 않는데요, 이러한 데이터입니다.
url은 https://datalab.naver.com/local/trend.naver 인데요, 저렇게 마우스를 가져다대면 나오는 숫자들을 날짜와 함께 크롤링하고 싶습니다. 그런데 문제는 pagesource를 봐도 저런 숫자들이 어떤 태그 아래 저장되어 있는지 나오지 않네요. ctrl+f로 검색해보니 "연건동"같은 string은 아예 등장하지도 않구요. 이런 데이터를 크롤링하기 위해서 참고할 수 있는 강의가 있을까요?
답변을 작성해보세요.
1
잔재미코딩 DaveLee
지식공유자2021.01.18
넵 다음 글은 이후에 이어지는 글인데... 검색 방법이나, 궁금한 부분들을 찾을 수 있는 팁을 넣은 것인데, 유의사항도 함께 넣은 것이긴 하네요. 추가로 본 강의의 선수 강의인 파이썬 입문과 크롤링 부트캠프 에서 naver open API 사용법을 설명드렸고, 본 강의에서 naver open API 를 scrapy 와 함께 사용하는 케이스도 설명드렸는데요. naver open API 중에 데이터랩 과 쇼핑 인사이트 데이터를 가져올 수 있는 API를 다음과 같이 제공합니다. 강의 내의 설명을 통해 Open API 사용법을 익힌 후, 다음 API 에 적용해서 이를 사용해보셔도 좋을 것 같고요. Open API 는 제공하는 정보 이외의 추가적인 정보를 가져올 수는 없지만, 제공하는 정보는 확실히 공식적인 방법으로 가져올 수 있기 때문에, 참고하시면 좋을 것 같습니다.
https://developers.naver.com/docs/datalab/search/
감사합니다.
0
0
0
잔재미코딩 DaveLee
지식공유자2021.01.17
안녕하세요. 관련 그래프는 javascript 등, 완전히 다른 언어로 되어 있을 가능성이 높아보입니다. 그래서, 저런 데이터를 뽑으려면 관련 언어도 이해해야 하고, 경우에 따라서는 하나의 프로그램 안에서 처리가 되기 때문에, 크롤링은 불가능할 수도 있습니다. 네이버 데이터쪽은 naver open API 를 사용할 수도 있을 것 같습니다.
답변 4