• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

12페이지 이후 print

20.04.23 00:47 작성 조회수 84

0

따라 해보니까 페이지 11 마지막 기사까지만 print가 되는데요, 12페이지 이후로는 왜 안 되는 건가요? 동아일보 웹페이지는 100페이지 이후로까지 있던데요. 이유가 무엇인가요? 12페이지 이후로도 print 하려면 어떻게 해야 하나요? 

답변 3

·

답변을 작성해보세요.

0

안녕하세요 

왜냐하면 반복문이 soup.select("#contents > div.page >a ") 의 크기만큼 동작하는데

soup.select("#contents > div.page >a ") 이 부분의 크기가 11입니다.

soup.select("#contents > div.page >a ") 이 부분을 range(0,20)이라고 바꾸시면 20페이지까지 동작하실 겁니다 :)

0

먼저 답변 감사드려요. 돌아는 가는데요, 11페이지 마지막 기사까지만 추출이 돼요. 그 이후에도 페이지가 100넘게까지 있는데, 그건 추출이 안 되네요. 아래 코드로 했어요. 

import requests
from bs4 import BeautifulSoup

req = requests.get("http://www.donga.com/news/List/Enter/?p=1&prod=news&ymd=&m=") # 엔터치기
soup = BeautifulSoup(req.text, 'html.parser') ## 이런 식으로 HTMl에 있는 코드를 다 가져온다

for i in soup.select("#contents > div.page >a "):
req2 = requests.get("http://www.donga.com/news/List/Enter/" + i['href']) # 페이지별 돌아다니기
soup2 = BeautifulSoup(req2.text, 'html.parser')

for i in soup2.find_all("span", class_="tit") :
print(i.text) # 기사 제목 가져오기

0

안녕하세요!

혹시 에러코드가 나오나요 아니면 그냥 돌아가지 않는 것일까요?

해당 코드를 첨부해주시면 제가 도움드리기 더 쉬울 것 같습니다~