inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

뷰티풀수프(beautifulsoup) 기초 사용법

title["href"] 가져올 때

219

산독기

작성한 질문수 18

0

 

import requests
from bs4 import BeautifulSoup

url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query="
keyword = input("검색어를 입력하세요: ")


url = url  + keyword
print(url)


#개발자 도구 > 네트워크 > www.naver.com > 요청 헤더 > user-gent
headers = {
    "User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
req = requests.get(url, headers=headers)

html = req.text

soup = BeautifulSoup(html, "html.parser")


# 게시물별 view 구역
total_area = soup.select(".view_wrap")

rank_num= 1
for area in total_area:
    
    ad = area.select_one(".link_ad")
    if ad:
        continue
    print(f"<<<{rank_num}>>>")

    title = area.select_one(".title_area")
    name = area.select_one(".name")
    href = area.select_one(".title_link")

    print(title.text)
    print(name.text)
    # print(title["href"]
    print(href["href"])
    print()
    rank_num += 1
    

<에러 문구>

line 41, in <module>

print(title["href"])

File "/User/opt/anaconda3/envs/edu/lib/python3.9/site-packages/bs4/element.py", line 1573, in getitem

return self.attrs[key]

KeyError: 'href'

 

 

안녕하세요, 수업 잘 듣고 있습니다.

저도 블로그 링크를 바로 가져오고 싶어서 print(title["href"]로 가져오려 했으나 keyError가 발생합니다.

 

우선 대안으로, href 변수를 반들고 따로 링크만 가져올 수 있는 코드를 추가하긴 하였으나 왜 키 에러가 발생하여 print(title["href"]로 링크를 바로 못 가져 오는 것인지가 궁금합니다.

 

 

 

python 웹-크롤링 selenium beautifulsoup

답변 1

0

김플

올리신 코드에 print(title) 추가 해보시면 답이 바로 나옵니다.
print(title["href"]) <- title 안에는 href 속성이 없습니다.
<div class="title_area"> 안에 있는 a 태그에 href 속성이 있죠.
<div class="title_area"> <a class="title_link" data-cb-target="..." data-cb-trigger="" href="...">
그래서 에러가 발생합니다.

멜론 사이트 수집부터 안됩니다

0

60

1

강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.

0

57

1

-href 가져오기

0

91

2

수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?

0

157

1

안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?

0

3634

1

쿠팡 BeautifullSoup 헤더넣어도 막히네요

0

443

1

네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.

0

3181

1

추가 강의 업데이트 있나요?

0

246

1

lambda 중에 문의가 있습니다.

0

269

1

텔레그램 sendMessage 시 400에러가 뜹니다.

0

901

2

ftp 로긴 문제입니다. ㅜ

0

408

2

네이버 쇼핑 크롤링 질문입니다.

0

367

1

XPATH 네이버에서 카페 찾는 과정 문의입니다.

1

312

1

셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.

0

668

2

쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.

0

809

2

파이썬에 키워드를 치는게 아닌...

0

275

2

50프로 수강중입니다~

0

218

1

제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트

0

385

2

lst = lst50 + lst100 이거 대신에

0

323

2

증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ

1

283

1

네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ

1

245

1

선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ

0

355

2

네이버쇼핑 크롤링 문의

0

429

2

asyncio.run() cannot be called from a running event loop 에러 질문 드립니다

0

3902

4