-
카테고리
-
세부 분야
업무 자동화
-
해결 여부
해결됨
귀신이 곡할 노릇입입니다ㅠㅠ , 셀렉터를 맞게 한거 같은데 안되네요 ㅠㅠ
23.04.14 02:22 작성 23.04.14 02:27 수정 조회수 351
1
블랙핑크 검색시 셀렉터
손흥민 검색시 셀렉터
즉 선생님 수업때와 다르게
셀렉터가 둘다 똑같이 변경 되었습니다.
import requests
from bs4 import BeautifulSoup
base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query="
keyword = input("검색어를 입력하세요 :")
url = base_url + keyword
# url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=손흥민"
headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"}
req = requests.get(url, headers=headers)
soup = BeautifulSoup(req.text, 'html.parser')
results = soup.select(".timeline_area")
print(results)
for res in results:
# print(res.select_one('.sub_txt.sub_name').text)
# print(res.select_one('.api_txt_lines.total_tit').text)
# print(res.select_one('.api_txt_lines.total_tit').get('href'))
print()
그래서 위와같이 select 해서
크롤링을 하면
정말 너무 희안하게도
"블랙핑크" : 크롤링 가능
"손흥민" : 크롤링 불가능
print(results) 해보면, 리스트가 비어있습니다.
그래서 제가 아래 이미지 처럼
개발자 도구에서 select copy 를 이용해서도 해봤는데 크롤링이 안됩니다.
도저히 제가 이해할수가 없고, 해결할수 없어서 질문 드립니다.
도와주신다면 감사하겠습니다. ㅠㅠ
답변을 작성해보세요.
답변 2