크롤링한 url 다시 크롤링
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 배운 내용을 토대로 응용을 해보고 있는데요, 네이버 뉴스의 내용을 크롤링 하고 싶어서 크롤링한 걸 재크롤링 하는 방법을 써봤습니다. 그런데 href 추출까지는 잘 되는데요, (print로 확인 해보면 잘 크롤링 됨) 그걸 다시 파싱하는 코드를 넣으니까 에러가 납니다. 여기서 뭘 어떻게 건드려야 할지 모르겠어요ㅠ import requests from bs4 import BeautifulSoup keywords = ["인공지능"] for keyword in keywords: url = "https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={0}".format(keyword) #기사 링크 추출 search_url = requests.get(url) soup = BeautifulSoup(search_url.text, "lxml") urls = soup.select("a.info:nth-of-type(2)") for burl in urls: # print(burl["href"]) #본문 url 다시 파싱 res_info = requests.get(burl["href"]) soup_info = BeautifulSoup(res_info.content, "lxml") title = soup_info.select("h3#articleTitle") print(title)
- 크롤링
- python
- 파싱
- 웹-크롤링