• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    해결됨

쇼핑 크롤링 응용 질문 드립니다.

22.05.23 17:26 작성 조회수 528

0

선생님께서 수업에서 보여주신 여러가지 크롤링을 응용해서 

네이버 많이 구매하는 쇼핑 카테고리  크롤링 코드를 짜보았습니다.

그런데 해당 순위 100개까지 있는데, 현재 순위 15순위까지만

해서 나옵니다. 16위부터는 소스 자체에서 변화되는 것이 있을수

있는데 저로서는 한계네요 ;;; 리뷰 다음 페이지것까지 가져오기처럼

이것도 방법이 있을 것 같은데 혹시 알려주실 수 있을까요 

답변 1

답변을 작성해보세요.

1

안녕하세요! 

말씀하신 많이 구매하는 쇼핑 카테고리가 아래 URL 이 맞을까요? 
맞다면 제가 예제 소스코드를 작성해서 강의자료에 공유드리겠습니다. 

https://search.shopping.naver.com/best/category/purchase?categoryCategoryId=ALL&categoryDemo=A00&categoryRootCategoryId=ALL&period=P1D

혹시 URL 주소가 위에 말씀드린 주소가 아니라면 댓글 남겨주시면 제가 확인해보고 말씀드리겠습니다.
질문 남겨주셔서 감사합니다. 

즐거운 하루되세요! 

 

cat님의 프로필

cat

질문자

2022.05.24

정말 감사합니다. 선생님! 말씀하신 많이 구매하는 경로이며, 하기의 경로를 예시로 참고 부탁드립니다.

 

1. 15순위 ->100순위 모두 가져오는 부분  

2. 깔끔한 상품명 정보를 가져오는 것

3. 해당 상품의 url 까지 추가로 리스트로 가져오는 것까지 진행해보고 싶습니다.

 

경로 

https://search.shopping.naver.com/best/category/purchase?categoryCategoryId=50000195&categoryChildCategoryId=&categoryDemo=A00&categoryMidCategoryId=50000195&categoryRootCategoryId=50000002&chartRank=1&period=P7D

 

안녕하세요!
위에 주신 경로를 참고해서 확인해보니 아래 그림과 같이 1위~15위까지만
class "imageProduct_title__3TsP1" 안에 들어가 있는 형태라 이후 순위에 대한 정보를 추출하시기 어려우셨을거 같습니다. 

파이썬을 활용해서 url의 정보를 받아올 경우 1~95위 페이지의 경우에는
naver에서 제공하는 html 코드 정보가 크롬 브라우저의 정보와 조금 다르게 되어있었습니다. 
(이것도 나름의 이유가 있는데, 해당 내용은 강의로 5월중에 설명드리겠습니다.)

실제 해당 카테고리의 1~95위 순위정보는 id ="__NEXT_DATA__" 라는 곳 안에 있는데요, 값을 가져오는 방식이 기존 강의 내용과는 조금 달라서 자세한 내용은 제가 위에 말씀드린바와 같이 강의로 5월중에 설명드리겠습니다. 

말씀주신 페이지 관련해서는 아래에 바로 사용 가능한 소스 코드를 작성해놓았으니 급하시다면 해당 내용을 참고해주시면 될 것 같습니다. (소스 코드설명도 강의를 통해 말씀드리겠습니다.)
https://colab.research.google.com/drive/1bhEPfW1WqoHrCzcq1Pb_lLnElTTssAcw?usp=sharing

강의에 관심 가져주셔서 감사드리고 추가적인 질문이 또 있으시다면 언제든지 질문 남겨주세요! 
감사합니다 ^^