inflearn logo
강의

Course

Instructor

Development of a real-time trend homepage (Python crawling + Flask)

Show crawled data in HTML

print(soup.select("") 에서 "GET / HTTP/1.1" 500 - 에러 나네요.

414

nov

10 asked

0

아래까지는 잘 진행되었습니다. 

def hello():

# 엔터치기
req = requests.get("https://www.daum.net/")

# 이런 식으로 HTML에 있는 코드를 다 가져온다
soup = BeautifulSoup(req.text, 'html.parser')

print(soup)

지금은 다음 실시간 이슈 검색어가 없어서 동일하게 실습을 하지 못하고 우측 하단에 있는 인기상품BEST 100에서 검색해서 Copy selector 하여 아래 같이 붙여넣고 실행하면 에러가 납니다.

def hello():

# 엔터치기
req = requests.get("https://www.daum.net/")

# 이런 식으로 HTML에 있는 코드를 다 가져온다
soup = BeautifulSoup(req.text, 'html.parser')

print(soup.select("#listWrap > li:nth-child(1)"))

에러는 다음과 같습니다.

[2021-05-21 20:52:32,833] ERROR in app: Exception on / [GET]

Traceback (most recent call last):

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 2447, in wsgi_app

    response = self.full_dispatch_request()

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 1953, in full_dispatch_request

    return self.finalize_request(rv)

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 1968, in finalize_request

    response = self.make_response(rv)

  File "C:\Anaconda3\lib\site-packages\flask\app.py", line 2097, in make_response

    raise TypeError(

TypeError: The view function did not return a valid response. The function either returned None or ended without a return statement.

127.0.0.1 - - [21/May/2021 20:52:32] "GET / HTTP/1.1" 500 -

python 웹-크롤링

Answer 3

0

bokchi

동아일보 사이트로 실습을 진행해보시겠어요?

아래는 소스코드입니다

import requests
from bs4 import BeautifulSoup

response = requests.get('https://www.donga.com/news/List/Politics')

html = response.text

soup = BeautifulSoup(html, 'html.parser')


for i in soup.select("#content > div.articleList") :
print(i.select_one("a > span.tit").text)

0

nov

에러화면 입니다.

아래는 소스화면입니다. Daum 메인화면에 검색순위가 없어서 Daum 증권 (https://finance.daum.net/) 홈에 있는 검색순위로 실습해 본 겁니다.

0

bokchi

안녕하세요.

질문 답변드리려면 아래의 정보가 필요합니다 :)

1. 전체 코드

2. 강의 어느부분을 보시고 있으신지

3. 에러 스크린샷

이렇게 공유주세요~

교육 자료나 프로그램 소스 위치 알려주세요.

0

145

2

강의 교육자료 변경됨?

0

146

1

[셀레니움 사용해보기]웹 드라이버 경로관련

0

1636

1

[page숫자설정]int(page) 관련문의드립니다.

0

213

1

안녕하세요 강의 정말 잘봤습니다 ㅎㅎ

0

257

1

혹시 외부에서도 웹을 볼 수 있게 작동 하려면 어떻게 해야할까요?

0

240

1

엑셀 파일 생성이 안됩니다. ㅠㅠ

0

425

2

소스 올려봅니다

0

299

2

크롤링 관련해서 문의좀 드릴께요~

0

220

1

다른 editor 사용해도 되나요?

0

200

1

네이버 쇼핑 핫딜 크롤링 문제

0

393

3

flask에서 html 연결이 안됩니다ㅠㅜ

0

498

1

index.html 부분을 인식을 못하네요

0

461

5

저는 네이버 인기 검색어를 가져올려고하는데 못뽑아 오네요 혹시 네이버 보안 문제일까요???

1

196

1

Flask 실행하면 웹사이트 127.0.0.1:5000 포트 부분에서 404에러가 뜨네요 어떻게 해야되나요??

0

6299

6

저는 이렇게 venv부분이 다른 색으로 뜨는데 무슨 차이인가요??

0

398

1

윈도우 PyCharm 환경 설정들 처음부터 알려주세요

0

293

1

실시간

0

279

1

아톰에서 실행

0

323

1

실행결과가 이상합니다 실시간 순위 1위만 뜨네요

0

388

6

코드가 잘안보이는건 wifi환경이라 그런건가요

0

165

1

크롤링 결과를 html 페이지에서 출력할 수 없습니다.

0

276

2

크롤링 결과가 다른 페이지가 아닌 현재 페이지에 나타나게 하려면 어떻게 해야 하나요?

0

319

2

크롤링 오류입니다;

1

416

2