-
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
response.get 질문입니다.
22.11.03 04:28 작성 조회수 176
1
안녕하세요. 개인적으로 스크래핑 기술로 간단한 앱을 만들어보고 싶어서 이 강좌를 수강하고 있습니다. response.get 으로 스크래핑이 제대로 실행이 되지 않는 사이트들도 있나요?
이를 테면, 밑의 코드를 보면 프린트 값이 빈 [] 이거나 아무값이 표시되지 않습니다. 이러한 경우에는 어떻게 해야하나요?
import requests
import pyautogui
from bs4 import BeautifulSoup
# keyword = pyautogui.prompt('USE YOUR HEAD AND SEARCH IT.')
# response = requests.get(f"https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={keyword}")
response = requests.get("https://www.fromjapan.co.jp/en/item/search/kaptain+sunshine/Al_11_Yh_RaSuBpOmRm_N_N_0A00ja00_N/lgk-link_top_search")
html = response.text
soup = BeautifulSoup(html, "html.parser")
items = soup.select(".shop-item")
print(items)
for item in items:
print(item)
답변을 작성해보세요.
1
스타트코딩
지식공유자2022.11.08
안녕하세요!
동적인 페이지에서는 requests + bs4 조합으로 크롤링이 되지 않습니다.
동적인 페이지 크롤링 방법은 남은 강의에서 배울 수 있는데
selenium을 이용하거나, 네트워크 분석을 통해 동적으로 일어나는 요청을 찾아 내는 방법이 있습니다.
남은 강의를 공부하시면 해결할 수 있을 겁니다 ^^
0
답변 2