-
질문 & 답변
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
네이버 쇼핑 리뷰 크롤링 관련
23.06.09 02:18 작성 조회수 832
0
네이버 스마트 스토어의 리뷰들을 크롤링해보려고 시도하던 중 잘 되지 않아 문의드립니다.
강의에서 배운대로 개발자 도구 이용해서 html 정보(?)를 가져와서 상품명과 같은 상단의 내용들은 잘 가져와졌습니다.
그런데, 리뷰쪽은 [] 으로 결과가 계속 나오고 있어 찾아보니
많은분들이 selenium 패키지를 써서 하더라구요..
혹시 selenium으로 꼭 해야할까요?
BeautifulSoup으로 select 로 추출할 수 없는 것인지 궁금합니다.
파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
프로젝트: 크롤링 + 엑셀 보고서까지 자동으로 만들며 익히는 프로그래밍1 (업데이트)
강의실 바로가기
답변을 작성해보세요.
0
잔재미코딩 DaveLee
지식공유자2023.06.09
안녕하세요. 답변 도우미입니다. 우선 말씀하신 부분은 강의 영상에 대한 내용이 아닌 부분이라서, 양해를 부탁드립니다. 강의 자체가 평생 강의라서, 강의 영상이 아닌 각자 구현하시는 코드 관련 문의까지 평생 답변을 드리는 부분은 무리가 있어서요. 정확한 답변을 위해서는 저희도 구현을 해봐야 하는 것이기도 하고, 사실상 무리스러운 부분이 있어서요.
네이버 스마트 스토어 리뷰가 무엇인지도 ㅎㅎ 잘 모르겠어요. ㅎㅎ 간단히만 의견드리면,
네이버 스마트 스토어와 같은 동적 웹페이지의 경우, 웹페이지가 로드된 후에 추가적인 데이터를 JavaScript를 통해 불러오는 경우가 많습니다. 이런 경우에는 페이지의 소스코드를 바로 확인하면 원하는 데이터가 포함되어 있지 않을 수 있습니다.
BeautifulSoup은 웹페이지의 HTML 소스코드를 파싱하고 분석하는 데 사용되지만, JavaScript를 실행하여 동적으로 불러온 데이터를 가져오는 능력은 없습니다. 이런 이유로, BeautifulSoup만 사용해서는 페이지의 동적인 부분을 크롤링하는 데 제한이 있을 수 있습니다.
이런 동적인 웹페이지를 크롤링하려면, 웹 브라우저를 실제로 실행하고 JavaScript를 실행할 수 있는 도구가 필요합니다. Selenium은 이런 용도로 널리 사용되는 도구로, 웹 브라우저를 자동화하여 실제 사용자처럼 동작하게 할 수 있습니다. 따라서 JavaScript를 통해 동적으로 로드되는 데이터를 크롤링할 수 있습니다.
따라서 네이버 스마트 스토어와 같이 JavaScript를 이용한 동적인 웹페이지에서 리뷰와 같은 데이터를 크롤링하려면 Selenium을 사용하는 것을 권장합니다. (저희가 직접 원하시는 사이트의 기능을 크롤링해본 것은 아니라서, 정확하게 의견드리기는 어렵지만, 참고로라도 의견을 드립니다.)
감사합니다.
답변 1