inflearn logo
강의

講義

知識共有

リアルタイムトレンドホームページ開発(Pythonクロール+Flask)

クロールされたデータhtmlに表示する

print(soup.select("") 에서 "GET / HTTP/1.1" 500 - 에러 나네요.

415

nov

投稿した質問数 10

0

아래까지는 잘 진행되었습니다. 

def hello():

# 엔터치기
req = requests.get("https://www.daum.net/")

# 이런 식으로 HTML에 있는 코드를 다 가져온다
soup = BeautifulSoup(req.text, 'html.parser')

print(soup)

지금은 다음 실시간 이슈 검색어가 없어서 동일하게 실습을 하지 못하고 우측 하단에 있는 인기상품BEST 100에서 검색해서 Copy selector 하여 아래 같이 붙여넣고 실행하면 에러가 납니다.

def hello():

# 엔터치기
req = requests.get("https://www.daum.net/")

# 이런 식으로 HTML에 있는 코드를 다 가져온다
soup = BeautifulSoup(req.text, 'html.parser')

print(soup.select("#listWrap > li:nth-child(1)"))

에러는 다음과 같습니다.

[2021-05-21 20:52:32,833] ERROR in app: Exception on / [GET]

Traceback (most recent call last):

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 2447, in wsgi_app

    response = self.full_dispatch_request()

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 1953, in full_dispatch_request

    return self.finalize_request(rv)

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 1968, in finalize_request

    response = self.make_response(rv)

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 2097, in make_response

    raise TypeError(

TypeError: The view function did not return a valid response. The function either returned None or ended without a return statement.

127.0.0.1 - - [21/May/2021 20:52:32] "GET / HTTP/1.1" 500 -

python 웹-크롤링

回答 3

0

bokchi

동아일보 사이트로 실습을 진행해보시겠어요?

아래는 소스코드입니다

import requests
from bs4 import BeautifulSoup

response = requests.get('https://www.donga.com/news/List/Politics')

html = response.text

soup = BeautifulSoup(html, 'html.parser')


for i in soup.select("#content > div.articleList") :
print(i.select_one("a > span.tit").text)

0

nov

에러화면 입니다.

아래는 소스화면입니다. Daum 메인화면에 검색순위가 없어서 Daum 증권 (https://finance.daum.net/) 홈에 있는 검색순위로 실습해 본 겁니다.

0

bokchi

안녕하세요.

질문 답변드리려면 아래의 정보가 필요합니다 :)

1. 전체 코드

2. 강의 어느부분을 보시고 있으신지

3. 에러 스크린샷

이렇게 공유주세요~

교육 자료나 프로그램 소스 위치 알려주세요.

0

147

2

강의 교육자료 변경됨?

0

147

1

[셀레니움 사용해보기]웹 드라이버 경로관련

0

1638

1

[page숫자설정]int(page) 관련문의드립니다.

0

213

1

안녕하세요 강의 정말 잘봤습니다 ㅎㅎ

0

258

1

혹시 외부에서도 웹을 볼 수 있게 작동 하려면 어떻게 해야할까요?

0

242

1

엑셀 파일 생성이 안됩니다. ㅠㅠ

0

427

2

소스 올려봅니다

0

301

2

크롤링 관련해서 문의좀 드릴께요~

0

222

1

다른 editor 사용해도 되나요?

0

202

1

네이버 쇼핑 핫딜 크롤링 문제

0

395

3

flask에서 html 연결이 안됩니다ㅠㅜ

0

501

1

index.html 부분을 인식을 못하네요

0

463

5

저는 네이버 인기 검색어를 가져올려고하는데 못뽑아 오네요 혹시 네이버 보안 문제일까요???

1

199

1

Flask 실행하면 웹사이트 127.0.0.1:5000 포트 부분에서 404에러가 뜨네요 어떻게 해야되나요??

0

6305

6

저는 이렇게 venv부분이 다른 색으로 뜨는데 무슨 차이인가요??

0

400

1

윈도우 PyCharm 환경 설정들 처음부터 알려주세요

0

294

1

실시간

0

281

1

아톰에서 실행

0

324

1

실행결과가 이상합니다 실시간 순위 1위만 뜨네요

0

390

6

코드가 잘안보이는건 wifi환경이라 그런건가요

0

166

1

크롤링 결과를 html 페이지에서 출력할 수 없습니다.

0

277

2

크롤링 결과가 다른 페이지가 아닌 현재 페이지에 나타나게 하려면 어떻게 해야 하나요?

0

321

2

크롤링 오류입니다;

1

419

2