쇼핑 크롤링 응용 질문 드립니다.
선생님께서 수업에서 보여주신 여러가지 크롤링을 응용해서
네이버 많이 구매하는 쇼핑 카테고리 크롤링 코드를 짜보았습니다.
그런데 해당 순위 100개까지 있는데, 현재 순위 15순위까지만
해서 나옵니다. 16위부터는 소스 자체에서 변화되는 것이 있을수
있는데 저로서는 한계네요 ;;; 리뷰 다음 페이지것까지 가져오기처럼
이것도 방법이 있을 것 같은데 혹시 알려주실 수 있을까요
답변 1
1
안녕하세요!
말씀하신 많이 구매하는 쇼핑 카테고리가 아래 URL 이 맞을까요?
맞다면 제가 예제 소스코드를 작성해서 강의자료에 공유드리겠습니다.
https://search.shopping.naver.com/best/category/purchase?categoryCategoryId=ALL&categoryDemo=A00&categoryRootCategoryId=ALL&period=P1D
혹시 URL 주소가 위에 말씀드린 주소가 아니라면 댓글 남겨주시면 제가 확인해보고 말씀드리겠습니다.
질문 남겨주셔서 감사합니다.
즐거운 하루되세요!
0
정말 감사합니다. 선생님! 말씀하신 많이 구매하는 경로이며, 하기의 경로를 예시로 참고 부탁드립니다.
1. 15순위 ->100순위 모두 가져오는 부분
2. 깔끔한 상품명 정보를 가져오는 것
3. 해당 상품의 url 까지 추가로 리스트로 가져오는 것까지 진행해보고 싶습니다.
경로
https://search.shopping.naver.com/best/category/purchase?categoryCategoryId=50000195&categoryChildCategoryId=&categoryDemo=A00&categoryMidCategoryId=50000195&categoryRootCategoryId=50000002&chartRank=1&period=P7D
0
안녕하세요!
위에 주신 경로를 참고해서 확인해보니 아래 그림과 같이 1위~15위까지만
class "imageProduct_title__3TsP1" 안에 들어가 있는 형태라 이후 순위에 대한 정보를 추출하시기 어려우셨을거 같습니다.
파이썬을 활용해서 url의 정보를 받아올 경우 1~95위 페이지의 경우에는
naver에서 제공하는 html 코드 정보가 크롬 브라우저의 정보와 조금 다르게 되어있었습니다.
(이것도 나름의 이유가 있는데, 해당 내용은 강의로 5월중에 설명드리겠습니다.)
실제 해당 카테고리의 1~95위 순위정보는 id ="__NEXT_DATA__" 라는 곳 안에 있는데요, 값을 가져오는 방식이 기존 강의 내용과는 조금 달라서 자세한 내용은 제가 위에 말씀드린바와 같이 강의로 5월중에 설명드리겠습니다.
말씀주신 페이지 관련해서는 아래에 바로 사용 가능한 소스 코드를 작성해놓았으니 급하시다면 해당 내용을 참고해주시면 될 것 같습니다. (소스 코드설명도 강의를 통해 말씀드리겠습니다.)
https://colab.research.google.com/drive/1bhEPfW1WqoHrCzcq1Pb_lLnElTTssAcw?usp=sharing
강의에 관심 가져주셔서 감사드리고 추가적인 질문이 또 있으시다면 언제든지 질문 남겨주세요!
감사합니다 ^^
5강 Xpath 관련 오류
0
287
1
5강 처음부터 전혀 따라 갈수가 없어요
0
237
1
SQLITE 테이블 생성 오류
0
409
1
네이버 쇼핑 정보 크롤링 중 '요소를 찾을 수 없는 오류'
0
439
1
5강에서 Error가 뜹니다.
0
324
1
6강 WebDriverException
0
424
1
5강 코드 에러가 뜹니다...!
0
370
1
[질문]Google Colab 코드 작성(3) - (네이버리뷰) 코드 분석 및 코드 작성
0
402
1
에러 질문드립니다.
0
1291
1
19강 프로펫 실습 시 에러
1
1104
1
16강 데이터시각화 코드 오류
0
563
2
13강 시각화함수 결과 그래프에 관한 문의
0
351
2
9강 코드 입력 시 에러
0
365
2
소스코드 실행오류
0
336
1
크롤링 자동화 실습(3) 질문
0
287
1
5강 크롬 드라이버 코드 오류+크롬 드라이버 자동 업데이트 코드 질문
0
541
2
6강 셀레니움 module import 관련
0
1306
2
데이터 시각화 강의 질문
0
218
2
텍스트로 보는 리뷰특성 분석
0
355
2
ChatGPT 실무에 100% 활용하기와 중복 내용 관련 문의드립니다.
0
330
1
5강 코드 질문
2
307
1
안녕하세요 강사님! 5강 추가 질문 드립니다.
0
241
1
from selenium.webdriver.common.by import By
0
448
1
네이버쇼핑 리뷰 크롤링 관련 오류 문의
0
489
1