inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

오류가 계속 뜨네요

해결된 질문

320

jtk5648

작성한 질문수 7

1

 

현재 네이버 view 탭 검색 결과 크롤링 3 , 10분 43초 지점입니다.

손흥민, 파이썬, 블랙핑크 검색해보고 개발자 탭에서 .api_ani_send 까지 각각 다 확인해서 강의 대로 타이핑 해서 쳤더니 전 0 이라고 나옵니다. 눈으로 직접 확인까지 하고 해보는데도 왜 에러가 나는 건가요 ?

 

 

import requests
from bs4 import BeautifulSoup
keyword = input("검색어를 입력하세요. : ")
base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query="
headers = {"User-Agent" : "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Mobile Safari/537.36"}
url = base_url + keyword
req = requests.get(url, headers=headers)
html = req.text
soup = BeautifulSoup(html, "html.parser")

items = soup.select(".api_ani_send")

for rank_num, area in enumerate(items, 1):
  print(f"<<<{rank_num}>>>")
  ad = area.select_one(".link_ad")
  if ad: 
    print("광고입니다.")
    continue
  title = area.select_one(".api_txt_lines.total_tit")  # 빈 칸을 . 으로 맞춰줘야한다. 
  name = area.select_one(".sub_txt.sub_name")
  print(name.text)
  print(title.text)
  print(title['href'])
  print()
  
print(len(items))

python 웹-크롤링 selenium beautifulsoup

답변 1

1

김플

유저 에이전트를 모바일이 아니라 일반 pc버전으로 사용해보세요.
지금 위 코드에서 print(req.url)를 찍어보시면 모바일 주소에서 정보를 가져온걸 확인 하실 수 있습니다.

0

jtk5648

와 질문들 세세히 신경써주시고 답글 달아주셔서 감사합니다. 오류가 풀렸네요 !

멜론 사이트 수집부터 안됩니다

0

60

1

강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.

0

57

1

-href 가져오기

0

91

2

수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?

0

157

1

안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?

0

3632

1

쿠팡 BeautifullSoup 헤더넣어도 막히네요

0

443

1

네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.

0

3179

1

추가 강의 업데이트 있나요?

0

246

1

lambda 중에 문의가 있습니다.

0

269

1

텔레그램 sendMessage 시 400에러가 뜹니다.

0

901

2

ftp 로긴 문제입니다. ㅜ

0

407

2

네이버 쇼핑 크롤링 질문입니다.

0

367

1

XPATH 네이버에서 카페 찾는 과정 문의입니다.

1

312

1

셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.

0

668

2

쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.

0

808

2

파이썬에 키워드를 치는게 아닌...

0

275

2

50프로 수강중입니다~

0

218

1

제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트

0

384

2

lst = lst50 + lst100 이거 대신에

0

322

2

증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ

1

283

1

네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ

1

245

1

선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ

0

355

2

네이버쇼핑 크롤링 문의

0

429

2

asyncio.run() cannot be called from a running event loop 에러 질문 드립니다

0

3902

4