네이버 쇼핑 크롤링 문의
from bs4 import BeautifulSoup
import requests
keyword = input("검색할 제품을 입력하세요 : ")
url = f"https://search.shopping.naver.com/search/all?query={keyword}"
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
headers = {"User-Agent" : user_agent}
req = requests.get(url, headers = headers)
html = req.text
soup = BeautifulSoup(html, 'html.parser')
items = soup.select(".product_item__MDtDF")
print(items)
print(len(items))네이버 쇼핑 크롤링 중 문의사항이 있어 글 남깁니다
위의 코드 처럼 네이버 쇼핑에서 검색 시 상품 정보 중 product_item__MDtDF를 받아와서 리스트를 만드려고 하는데 크롬 개발자도구에서는 11개로 검색되지만 위의 코드를 실행하여 '모니터'를 검색해보면 len가 1밖에 나오지 않습니다.
product_item__MDtDF를 제외하고는 강의 내용과 동일한거 같은데 어디에 문제가 있는 걸까요..?
답변 1
1
개발자도구에서 보이는 소스코드는 지금 현재 화면의 소스코드입니다. 화면을 스크롤해서 제품 갯수가 늘어나면 product_item__MDtDF의 갯수도 늘어납니다.
하지만 화면에서 마우스 오른쪽 버튼을 눌러 페이지 소스 보기를 하시면 product_item__MDtDF는 한개만 나옵니다. 페이지 소스 보기는 처음에 로드 된 페이지 소스 그 자체인거죠.
requests.get으로 접속해서 가져온 html은 현재 화면의 소스코드가 아니라 바로 페이지 소스 보기에서 볼 수 있는 html인것입니다.
여러개의 product_item__MDtDF를 받아오려면 requests가 아닌 selenium을 사용해야 합니다.
멜론 사이트 수집부터 안됩니다
0
56
1
강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.
0
53
1
-href 가져오기
0
89
2
수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?
0
155
1
안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?
0
3594
1
쿠팡 BeautifullSoup 헤더넣어도 막히네요
0
442
1
네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.
0
3164
1
추가 강의 업데이트 있나요?
0
245
1
lambda 중에 문의가 있습니다.
0
269
1
텔레그램 sendMessage 시 400에러가 뜹니다.
0
898
2
ftp 로긴 문제입니다. ㅜ
0
401
2
네이버 쇼핑 크롤링 질문입니다.
0
366
1
XPATH 네이버에서 카페 찾는 과정 문의입니다.
1
312
1
셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.
0
664
2
쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.
0
805
2
파이썬에 키워드를 치는게 아닌...
0
274
2
50프로 수강중입니다~
0
217
1
제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트
0
378
2
lst = lst50 + lst100 이거 대신에
0
320
2
증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ
1
279
1
네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ
1
244
1
선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ
0
354
2
네이버쇼핑 크롤링 문의
0
427
2
asyncio.run() cannot be called from a running event loop 에러 질문 드립니다
0
3891
4