inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

선택에서 제외시키기

id 값이 바뀐것같아서 찾아서 넣어보는데 잘안됩니다.

345

eunsu shin

작성한 질문수 1

0

https://n.news.naver.com/mnews/article/003/0011827028?sid=101

이곳에서 개발자모드에서 id값을 찾아서 해보고있는데

계속 None만 반환되네요.
이유를 모르겠습니다. 도와주세요

python 웹-크롤링

답변 1

0

스타트코딩

안녕하세요~!

코드를 첨부해 주시면 확인해 드릴 수 있습니다 :)

0

eunsu shin

아래 코드입니다.
https://search.naver.com/search.naver?where=news&sm=tab_jum&query=%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90
이 사이트에서는 출력이안되고 오류가발생하고
https://search.naver.com/search.naver?where=news&sm=tab_jum&query=%EB%86%8D%EA%B5%AC
이사이트에서는 글씨가 출력됩니다.
저는 영상 예제처럼 위사이트에서 나오게하고싶은데, 개발자모드에서 id값을 못찾는거같아요 제가.
꼭 해결하고 넘어가고 싶은 성격이라 계속 이곳에서 해매고있네요.

import requests
from bs4 import BeautifulSoup
import time

response = requests.get(
    "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90")
html = response.text
soup = BeautifulSoup(html, 'html.parser')
articles = soup.select("div.info_group")  # 뉴스 기사 div 10개 추출
for article in articles:
    links = article.select("a.info")  # 리스트
    if len(links) >= 2:  # 링크가 2개 이상이면
        url = links[1].attrs['href']  # 두번째 링크의 href를 추출
        response = requests.get(url, headers={'User-agent': 'Mozila/5.0'})
        html = response.text
        soup = BeautifulSoup(html, 'html.parser')
        content = soup.select_one("#content")
        if content is not None:  # content가 None이 아닌 경우에만 출력
            print(content.text)
        time.sleep(0.3)

1

스타트코딩

soup.select_one("#content") 가 아니라

soup.select_one("#contents") 로 바꿔 보시면 동작할 겁니다 ㅎㅎ

셀레니움 환경설정 오류

0

51

2

네이버 로그인 관련

0

266

2

안녕하세요 셀레니움에 대해서 질문

0

86

1

크롤링 연습사이트 문의

0

97

2

선택자 질문

0

71

2

'특정 요소가 나타날 때까지 스크롤' 부분 에러

0

78

2

자동 로그인 질문

0

89

2

44강 제목, 링크

0

105

1

원하는 값이 없을 때

0

90

2

크롤링한 링크가 엑셀로 들어가면 작동이 안되요

0

227

2

셀레니움 PDF자료는 받을 수 있나요

0

100

2

글목록 추출하기

0

98

2

메일 자동화 로그인 중복방지문자해결 오류 및 명시적 대기 질문

0

89

2

강의 노트가 어디에 있는건가요?

0

80

2

강의 커리큘럼 질문

0

98

1

조건문 else 사용하지 않는 이유

0

76

2

셀레니움으로 접근할 수 없는 경우

0

95

2

웹페이지 변경

0

72

2

자바스크립트로 태그 선택 시 질문입니다.

1

64

2

수료증은 어떻게 받나요?

0

120

2

class명을 활용하여 선택자를 만들지 않는 경우..?

0

61

2

드라이버가 안 열려요

0

79

2

이거 해결방법 아시는 분?

0

121

2

네이버 지식인 크롤링..

0

202

2