강의

멘토링

커뮤니티

Inflearn Community Q&A

landjin74357200's profile image
landjin74357200

asked

[New Revised Edition] This is Real Web Crawling - Practical Edition (AI Monetization)

Selecting Only the Nth Tag

뭐가 문제인지 잘 모르겠습니다!!

Written on

·

324

1

강의 내용대로 했을때 url이 출력이 잘 되는데...아래 코드로 실행하면 에러메시지는 없는데 아무것도 출력이 안됩니다..뭐가 잘못 된건지 궁금합니다.

import requests
from bs4 import BeautifulSoup

base_url = "https://m.search.naver.com/search.naver?where=m_news&sm=mtb_jum&query="
keyword = input("검색할 단어를 입력하세요 : ")
search_url = base_url + keyword


response = requests.get(search_url)
html = response.text

soup = BeautifulSoup(html,'html.parser')
articles = soup.select("div.info_group") #뉴스기사 div 10개 추출

for article in articles:
    links = article.select("a.info") # 이것의 결과는 list
    
    if len(links) >= 2 : #링크가 두 개 이상이면, list의 길이는 len()을 이용, div태그에 a태그가 둘 있음
        url = links[1].attrs['href'] # links 의 두번째 요소를 가져옴. 두번째 요소가 네이버뉴스 링크이고 첫번째 요소는 언론사 뉴스링크임. attrs()로 href 속성선택
        print(url)
웹-크롤링python

Answer 2

0

landjin74357200님의 프로필 이미지
landjin74357200
Questioner

그러네요..왜 모바일 url이 입력됐을까..ㅎㅎ...감사합니다~~

0

startcoding님의 프로필 이미지
startcoding
Instructor

모바일 페이지 URL 이 아니라,

PC버전 URL을 사용해 주세요~~

landjin74357200's profile image
landjin74357200

asked

Ask a question