inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

네이버 view탭 검색 결과 크롤링 2

귀신이 곡할 노릇입입니다ㅠㅠ , 셀렉터를 맞게 한거 같은데 안되네요 ㅠㅠ

해결된 질문

574

가후

작성한 질문수 90

1

블랙핑크 검색시 셀렉터

블랙핑크.png손흥민 검색시 셀렉터

손흥민.png

즉 선생님 수업때와 다르게

셀렉터가 둘다 똑같이 변경 되었습니다.

 

import requests
from bs4 import BeautifulSoup

base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query="
keyword = input("검색어를 입력하세요 :")
url = base_url + keyword
# url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=손흥민"


headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"}

req = requests.get(url, headers=headers) 
soup = BeautifulSoup(req.text, 'html.parser')

results = soup.select(".timeline_area")
print(results)

for res in results:
    # print(res.select_one('.sub_txt.sub_name').text)
    # print(res.select_one('.api_txt_lines.total_tit').text)
    # print(res.select_one('.api_txt_lines.total_tit').get('href'))
    print()

그래서 위와같이 select 해서

크롤링을 하면

정말 너무 희안하게도

"블랙핑크" : 크롤링 가능

"손흥민" : 크롤링 불가능

print(results) 해보면, 리스트가 비어있습니다.

 

그래서 제가 아래 이미지 처럼

개발자 도구에서 select copy 를 이용해서도 해봤는데 크롤링이 안됩니다.

도저히 제가 이해할수가 없고, 해결할수 없어서 질문 드립니다.

도와주신다면 감사하겠습니다. ㅠㅠ

 

 

python 웹-크롤링 selenium beautifulsoup

답변 2

1

김플

다음 강의보고 해결하셔서 다행입니다.^^

0

가후

자문 자답합니다. 다음 강의를 들으니, 내용이 나오네요

이유 : 같은 키워드("손흥민")로 검색해도, 클래스가 랜덤함

클래스가 total_area 일때도 있고

클래스가 timeline_area 일때도 있네요

많이 배우고 갑니다

김플님 화이팅

0

김플

ㅎㅎ감사합니다~
가후님도 화이팅입니다~

멜론 사이트 수집부터 안됩니다

0

62

1

강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.

0

58

1

-href 가져오기

0

91

2

수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?

0

157

1

안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?

0

3650

1

쿠팡 BeautifullSoup 헤더넣어도 막히네요

0

443

1

네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.

0

3184

1

추가 강의 업데이트 있나요?

0

246

1

lambda 중에 문의가 있습니다.

0

269

1

텔레그램 sendMessage 시 400에러가 뜹니다.

0

905

2

ftp 로긴 문제입니다. ㅜ

0

410

2

네이버 쇼핑 크롤링 질문입니다.

0

369

1

XPATH 네이버에서 카페 찾는 과정 문의입니다.

1

313

1

셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.

0

671

2

쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.

0

812

2

파이썬에 키워드를 치는게 아닌...

0

276

2

50프로 수강중입니다~

0

219

1

제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트

0

385

2

lst = lst50 + lst100 이거 대신에

0

323

2

증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ

1

286

1

네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ

1

245

1

선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ

0

355

2

네이버쇼핑 크롤링 문의

0

430

2

asyncio.run() cannot be called from a running event loop 에러 질문 드립니다

0

3905

4