inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

네이버 쇼핑 크롤링 1

해결된 질문

1316

jtk5648

작성한 질문수 7

0

강의 : 네이버 쇼핑 크롤링 1 , 11:14 시점에서 막힙니다.

 

from bs4 import BeautifulSoup
import requests



keyword = input("검색할 제품을 입력하세요 : ")

url = "https://search.shopping.naver.com/search/all?query={keyword}"

user_agent = "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36"

headers = {'User-Agent': user_agent}

req = requests.get(url, headers=headers)

html = req.text
# print(html[:1000]) 확인용
soup = BeautifulSoup(html, "html.parser")

base_divs = soup.select("[class^=product_item]")   # product_item 로 클래스 이름이 시작되는 클래스 

# print(base_divs)
print(len(base_divs))

for base_div in base_divs:
  title = base_div.select_one("[class^=product_link]")
  
  print(title.text)
  

 

 

우선 강의에서는 basicLis_item, basicList_link 로 했는데 현재 네이버 쇼핑몰에서는 product_item***, product_link*** 로 되어 있습니다. 아래 스샷처럼요.

 

 

 

그런데 코드를 치니까 이상한게 나와요 자꾸..

이유가 뭘까요 ??

 

 

 

 

 

python 웹-크롤링 selenium beautifulsoup

답변 1

1

김플

url = "https://search.shopping.naver.com/search/all?query={keyword}"

앞에 f가 빠졌습니다.
이렇게되면 keyword를 input으로 입력받아도
url은 변화가 없이 https://search.shopping.naver.com/search/all?query={keyword} 입니다.
위 주소를 클릭해서 직접 들어가보시면 출력되는게 무엇인지 바로 알수있습니다.

멜론 사이트 수집부터 안됩니다

0

56

1

강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.

0

54

1

-href 가져오기

0

90

2

수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?

0

155

1

안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?

0

3595

1

쿠팡 BeautifullSoup 헤더넣어도 막히네요

0

442

1

네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.

0

3164

1

추가 강의 업데이트 있나요?

0

245

1

lambda 중에 문의가 있습니다.

0

269

1

텔레그램 sendMessage 시 400에러가 뜹니다.

0

898

2

ftp 로긴 문제입니다. ㅜ

0

402

2

네이버 쇼핑 크롤링 질문입니다.

0

366

1

XPATH 네이버에서 카페 찾는 과정 문의입니다.

1

312

1

셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.

0

664

2

쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.

0

805

2

파이썬에 키워드를 치는게 아닌...

0

274

2

50프로 수강중입니다~

0

217

1

제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트

0

378

2

lst = lst50 + lst100 이거 대신에

0

321

2

증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ

1

279

1

네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ

1

244

1

선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ

0

354

2

네이버쇼핑 크롤링 문의

0

427

2

asyncio.run() cannot be called from a running event loop 에러 질문 드립니다

0

3891

4