증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ
279
投稿した質問数 6
네이버 메인 화면에서 증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ
클래스를 여러가지로 바꿔도 아래와 같이 none로 안나오는데 도움주시면 감사하겠습니다.
import requests
from bs4 import BeautifulSoup
url = "https://www.naver.com"
print(url)
headers = {
"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"
}
req = requests.get(url, headers=headers)
html = req.text
soup = BeautifulSoup(html, "html.parser")
print(soup.title)
# 아래 3개 모두 h1 태크 하나를 가져오는 똑같은 결과가 나온다. 즉 방법이 여러가는 라는 말이다.
#방법1
print(soup.h1)
#방법2
h1 = soup.find('h1')
print(h1)
#방법3
h1 = soup.select_one('h1')
print(h1)
# find로 찾을 때 id는 id = 으로 넣고, class는 class_ 이렇게 언더바 넣어야 함
# class에 언더바를 넣는 이유는 class가 파이썬에 예약어로 등록되어 있기 때문이다.
h1 = soup.find(class_="search_logo")
print(h1)
h1 = soup.find(id="special-input-logo")
print(h1)
service_name = soup.find(class_="service_name", string="증권")
print(service_name)
shortcut_item = soup.find(class_="shortcut_item", string="증권")
print(shortcut_item)
link_service = soup.find(class_="link_service", string="증권")
print(link_service)
shortcut_list = soup.find(class_="shortcut_list")
print(shortcut_list)
"""출력값
https://www.naver.com
<title>NAVER</title>
<h1 class="search_logo" id="special-input-logo"></h1>
<h1 class="search_logo" id="special-input-logo"></h1>
<h1 class="search_logo" id="special-input-logo"></h1>
<h1 class="search_logo" id="special-input-logo"></h1>
<h1 class="search_logo" id="special-input-logo"></h1>
None
None
None
None"""
回答 1
0
현재 네이버 메인화면은 뷰티풀수프만으로 크롤링이 불가능합니다.
https://youtu.be/go1D0f0lLvw
해당 사항에 대해서는 위 영상을 참고해 주세요.
일단 뷰티풀수프 사용법을 익히면서 강의를 진행하시고 셀레니움까지 배우고 나면
아주 간단하게 네이버 메인화면 크롤링이 가능하실 겁니다.
멜론 사이트 수집부터 안됩니다
0
55
1
강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.
0
53
1
-href 가져오기
0
88
2
수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?
0
154
1
안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?
0
3575
1
쿠팡 BeautifullSoup 헤더넣어도 막히네요
0
441
1
네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.
0
3157
1
추가 강의 업데이트 있나요?
0
244
1
lambda 중에 문의가 있습니다.
0
269
1
텔레그램 sendMessage 시 400에러가 뜹니다.
0
896
2
ftp 로긴 문제입니다. ㅜ
0
399
2
네이버 쇼핑 크롤링 질문입니다.
0
366
1
XPATH 네이버에서 카페 찾는 과정 문의입니다.
1
311
1
셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.
0
662
2
쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.
0
803
2
파이썬에 키워드를 치는게 아닌...
0
274
2
50프로 수강중입니다~
0
217
1
제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트
0
377
2
lst = lst50 + lst100 이거 대신에
0
318
2
네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ
1
243
1
선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ
0
352
2
네이버쇼핑 크롤링 문의
0
425
2
asyncio.run() cannot be called from a running event loop 에러 질문 드립니다
0
3880
4
멜론 유저에이전트 값 입력했음에도 창접속이안되여 ㅜㅜ
0
245
1

