inflearn logo
강의

Course

Instructor

Development of a real-time trend homepage (Python crawling + Flask)

소스 올려봅니다

299

kskworld00661

9 asked

0

from flask import Flask, render_template,request

app = Flask(__name__)

import requests
from bs4 import BeautifulSoup

# 크롤링 라이브러리 import
import requests
from bs4 import BeautifulSoup

from openpyxl import Workbook

write_wb = Workbook()
write_ws = write_Wb.active

write_ws.cell(1,1,"안녕")

write_wb.save("result.xlsx")


@app.route('/')
def hello():
    return render_template("index.html")


@app.route('/result'methods=['POST'])
def result():
    if request.method == 'POST':

        keyword = request.form['input1']
        page = request.form['input2']

        # https://search.daum.net/search?nil_suggest=btn&w=news&DA=SBC&cluster=y&q= + keyword

        daum_list = []

        for i in range(1int(page) + 1):

            req = requests.get("https://search.daum.net/search?nil_suggest=btn&w=news&DA=SBC&cluster=y&q=" + keyword + "&p=" + page)
            soup = BeautifulSoup(req.text, 'html.parser')

            for i in soup.find_all("a"class_="f_link_b"):
                print(i.text)
                daum_list.append(i.text)

        return render_template("result.html"daum_list = daum_list)


if __name__ == "__main__":
    app.run()


웹-크롤링 python

Answer 2

0

kskworld00661

답변 항상 감사합니다.

파이참에서 setting 으로 모듈 설치 하니 됩니다.

저는 비쥬얼스튜디오로 따라 했거든요

이게 익숙해서요

근데 프로젝트 가상환경을 잘 못 구성해서 안되는 것 같습니다

제가 잘못 한겁니다.

이제 파이참에서 되니깐 조금 남은 강의 완강하겠습니다.

많은 실전 크롤링 강좌 해주시면 참 좋을 것 같습니다.

제가 원하는 건 크롤링을 db에 저장하고 주기적으로 알아서 크롤링해서 DB에 저장되고 그것을 웹페이지게 계속 업데이트하여 표현되게끔 하는 관련 강의가 있으면 좋을 것 같습니다.

게시판 파싱도 구현해보면 좋을 것 같구요

다른 곳들에서는 찾아보기 힘든 주제들인것 같습니다.

짧고 재미있는 프로젝트 보여주셔서 감사합니다.

0

bokchi

안녕하세요 제로드님

이전에 답변드린 것 처럼 새롭게 프로젝트를 하셔도 안되셨나요??

코드를 통째로 깃허브에 올리셔서 링크를 전달해주실 수 있으실까요~??

교육 자료나 프로그램 소스 위치 알려주세요.

0

145

2

강의 교육자료 변경됨?

0

146

1

[셀레니움 사용해보기]웹 드라이버 경로관련

0

1636

1

[page숫자설정]int(page) 관련문의드립니다.

0

213

1

안녕하세요 강의 정말 잘봤습니다 ㅎㅎ

0

257

1

혹시 외부에서도 웹을 볼 수 있게 작동 하려면 어떻게 해야할까요?

0

240

1

print(soup.select("") 에서 "GET / HTTP/1.1" 500 - 에러 나네요.

0

414

3

엑셀 파일 생성이 안됩니다. ㅠㅠ

0

425

2

크롤링 관련해서 문의좀 드릴께요~

0

220

1

다른 editor 사용해도 되나요?

0

200

1

네이버 쇼핑 핫딜 크롤링 문제

0

393

3

flask에서 html 연결이 안됩니다ㅠㅜ

0

498

1

index.html 부분을 인식을 못하네요

0

461

5

저는 네이버 인기 검색어를 가져올려고하는데 못뽑아 오네요 혹시 네이버 보안 문제일까요???

1

196

1

Flask 실행하면 웹사이트 127.0.0.1:5000 포트 부분에서 404에러가 뜨네요 어떻게 해야되나요??

0

6299

6

저는 이렇게 venv부분이 다른 색으로 뜨는데 무슨 차이인가요??

0

398

1

윈도우 PyCharm 환경 설정들 처음부터 알려주세요

0

293

1

실시간

0

279

1

아톰에서 실행

0

323

1

실행결과가 이상합니다 실시간 순위 1위만 뜨네요

0

388

6

코드가 잘안보이는건 wifi환경이라 그런건가요

0

165

1

크롤링 결과를 html 페이지에서 출력할 수 없습니다.

0

276

2

크롤링 결과가 다른 페이지가 아닌 현재 페이지에 나타나게 하려면 어떻게 해야 하나요?

0

319

2

크롤링 오류입니다;

1

416

2