inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[신규 개정판] 이것이 진짜 크롤링이다 - 기본편

질문드립니다

221

erin del

작성한 질문수 2

1

import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook
keyword = input("검색어를 입력하세요")
lastpage = input("마지막 페이지 번호를 입력해 주세요")
pageNum = 1
for i in range(1, int(lastpage) * 10, 10):
    print(f"{pageNum}페이지 입니다.~~~~~~~~~~~~~~~~~")
    response = requests.get(f"https://search.naver.com/search.naver?sm=tab_hty.top&where=news&query={keyword}&start={i}")
    html = response.text

 

    soup = BeautifulSoup(html, 'html.parser')
    links = soup.select(".news_tit")
    wb = Workbook()
    ws1 = wb.active
    ws1.title = "연습"
    ws1.append(["제목", "링크"])
    print(links)
    for link in links:
        title = link.text
        url = link.attrs['href']
        print(title, url)
        ws1.append([title, url])
    pageNum = pageNum + 1
wb.save(filename='연습.xlsx')
 
네이버 기사 제목과 url 수집한 걸 엑셀에 옮겨보려고 합니다. 터미널에서는 마지막 페이지 번호 입력를 4로 했다고 하면 총 40개의 제목과 링크가 나타나는데 엑셀에는 옮겨지기는 하는데 10개의 기사 제목, 링크만 옮겨집니다. 어떻게 수정해주어야 할까요?

python 웹-크롤링

답변 1

1

스타트코딩

wb, ws를 선언하는 부분을

첫번째 for문 밖으로 빼내셔야 합니다.

아니면 for문 돌때마다 계속 새로운 wb와 ws를 만들게 돼요!

 

먼저 반복문을 상세히 학습하고 오십쇼!!

https://youtu.be/j58o7UU2kNs?list=PLNO7MWpu0eeVfqT9ehXWf9CdRALusjUsU

Live server 를 이용 해보고 싶은데 확장메뉴 설치가 막혀 있어요

0

89

2

'팀 단위 AI 업무 혁신' 자문 관련하여 문의드리고자 합니다. (연락처 요청)

0

59

1

import requests from bs4 import BeatifulSoup 이 단계에서 안 되네요

0

111

2

requests 관련 질문

1

154

2

설치 관련

0

141

2

vs code 결과출력이 안됩니다

0

166

1

크롤링 관련 질문입니다

0

230

2

word wrap 체크 후에도 콘솔 한줄로 출력되는현상

0

199

1

주피터에서 pip오류가 계속납니다

0

1113

3

강의 "requests, Beautifulsoup4 사용법 빠르게 알아보기"에서 질문이있습니다.

0

184

2

네이버쇼핑 검색창 넘어가기전 팝업창이 안사라져요

0

385

1

html주소를 다른 컴터에서도 접속하기

0

255

2

pandas 설치하는데 오류가 나서요

0

2762

1

실행오류

0

229

1

네이버쇼핑 무한스크롤 안되시는분들 모바일네이버로 실습해보세요

0

275

1

뉴스 페이지에 페이지 번호가 없는데 어떻게 가져오나요?

0

249

2

네이버 쇼핑에 팝업창이 뜨기 시작했어요 도와주세요 ㅠㅠ

0

740

3

셀레니움 실습 시 창이 자동 차단되면서 꺼집니다.

0

676

2

낮은 가격순을 클릭하는 문을 추가하고싶습니다.

0

309

2

pip는 내부 또는 외부명령 ,실행할 수 있는 프로그램

0

3452

2

이런오류는 어떤 오류인가요

0

669

1

창이 두개떠요/쇼핑검색도 안되요 ㅜ

0

339

2

약간 변태(?)같지만 해당 코드를 깔끔하게 함수로 리팩토링해보았습니다

0

343

2

과제 답안을 보지않고 스스로 구글링해서 만든 웹 크롤링 프로그램(10페이지 단위) 코드입니다.

0

772

2