inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

초간단 초스피드 데이터 수집 (파이썬 크롤링)

url 링크 찾아내서 크롤링

질문이요

267

Inhoo Song

작성한 질문수 5

2

import requests
from bs4 import BeautifulSoup
req = requests.get(
'https://www.donga.com/news/Entertainment/List?p=1&prod=news&ymd=&m=')
soup = BeautifulSoup(req.text
, 'html.parser')

for i in soup.select("#contents > div.page > a") :

req2 = requests.get(
"http://www.donga.com/news/List/Enter/" + i['href'])
soup2 = BeautifulSoup(req2.text
, 'html.parser')

for i in soup2.find_all("span", class_="tit") :
print(i.text)


C:\Users\karma\PycharmProjects\pychamwebcrawling\venv\Scripts\python.exe "C:/Users/karma/PycharmProjects/pychamwebcrawling/01_web_crawling_naver_test/url 링크 찾아내서 크롤링.py" Process finished with exit code 0

머가 문제인건가요???


웹-크롤링 python

답변 4

0

개복치개발자

파이팅입니다~

0

irunspal

감사합니다.

기초가부족한 상태라

기초를 잘 다져서 따라해보겠습니다

0

개복치개발자

코드를 약간 수정했습니다 여기서부터 한번 시작해보실래요?

0

개복치개발자

import requests
from bs4 import BeautifulSoup
req = requests.get('https://www.donga.com/news/Entertainment/List?p=1&prod=news&ymd=&m=')
soup = BeautifulSoup(req.text, 'html.parser')

print(soup.select("#content > div.page > a"))

for i in soup.select("#content > div.page > a") :
print("http://www.donga.com/news/List/Enter/" + i['href'])

백준 사이트 준비중이라 문제를 볼 수 가 없어요

0

6

0

작업형 1번문제... 환경관련

0

8

1

09차 네이버 영화 리뷰 수집 실습 관련 질문

0

11

1

12회 기출은 언제 업데이트 될까요??

0

8

1

알파벤티지 sleep(5) 관련 문의

0

11

0

강의 자료 및 코드 수령

0

17

2

8/6 작성한 연장문의 질문글에 대한 재요청

0

19

1

실전 계좌에서 운영하고 계신 분 계신가요?

1

33

2

수강기간 연장 문의

0

24

1

수강기간 연장문의

0

24

1

안녕하세요 파이썬 관련 문의드립니다

0

296

1

개발자님 도와주세요

0

233

1

질문입니다

0

273

3

크롬드라이버 설치

0

280

1

크롬드라이버 설치질문

0

219

1

브라우저가 안나와요

0

244

1

에디터와 모듈 관련

0

215

1

여러 페이지 크롤링

0

293

3

패키지 설치 방법 알려주세요

0

462

3

셀레니움 설치 관련

0

266

1

12페이지 이후 print

0

219

3

파이참설치안하고 아나콘다의 주피터 노트북으로 강의내용 따라가도되나요~?

0

252

3

chromedriver 라이브러리

2

338

3

다음 실시간 검색어 클래스 추출 불가

1

290

1