인프런 커뮤니티 질문&답변

꿀잼사슴

작성한 질문수

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

속성으로 선택하기

연애 뉴스 크롤링 8:52 부터 막힙니다

작성

641

출력을 할 때마다 계속 
print(content.text)
AttributeError: 'NoneType' object has no attribute 'text'
메시지만 뜹니다
 
해결책은 계속 찾고 있습니다만
코드 입력이 문제인지 아니면 업데이트가 되서 그런지 물어보고 싶습니다
 
코드는 다음과 같습니다.
 
import requests
from bs4 import BeautifulSoup
import time

response = requests.get("https://search.naver.com/search.naver?sm=tab_sug.top&where=news&query=%EB%B8%94%EB%9E%99%ED%95%91%ED%81%AC&oquery=%EC%86%90%ED%9D%A5%EB%AF%BC&tqi=hPGDksp0Yidss4HuFwdssssstKV-439002&acq=%EB%B8%94%EB%9E%99&acr=1&qdt=0")
html = response.text
soup = BeautifulSoup(html, 'html.parser')
articles = soup.select("div.info_group")
for article in articles:
    links = article.select("a.info")
    if len(links) >=2:
        url = links[1].attrs['href']
        response = requests.get(url, headers={'User-agent':'Mozila/5.0'})
        html = response.text
        soup = BeautifulSoup(html, 'html.parser')

        # if calls ent-news
        if "entertain" in response.url:
            content = soup.select_one("#articleBody")
        else:
            content = soup.select_one("#articleBodyContents")
        print(content.text)
        time.sleep(0.3)
 

웹-크롤링 python

퀴즈

선택자 `A + B`와 `선택자 A ~ B`의 주요 차이점은 무엇인가요?

`A + B`는 바로 뒤 형제를, `A ~ B`는 뒤 모든 형제를 선택합니다.

`A + B`는 A의 자식을, `A ~ B`는 B의 부모를 선택합니다.

`A + B`는 A의 부모를, `A ~ B`는 B의 자식을 선택합니다.

`A + B`는 그룹 첫 요소를, `A ~ B`는 그룹 마지막 요소를 선택합니다.

답변 3

jangtaesan

안녕하세요 : )

class101에서 강의 잘 듣고 다시 여기로 넘어왔습니다.

듣고 싶은게 더 있어서요. 복습도 되고 넘 좋습니다.

연예 뉴스 크롤링에서 네이버의 변경이 있었네요.

entertain으로 시작하는 주소는 같은데

news.naver.com 부분이
n.news.naver.com으로 변경이 되면서
id값과 class 값이 변경되었습니다.

수정코드(2022년 07월 16일 시점) 올려봅니다.

if "entertain" in response.url:
title=soup.select_one(".end_tit")
content=soup.select_one("#articeBody")
else:
title=soup.select_one(".media_end_head_headline

")
content=soup.select_one("#dic_area")