inflearn logo
강의

강의
N
챌린지

챌린지
멘토링

멘토링
N
클립

클립
로드맵

로드맵
지식공유

파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)

같은 코드인데 크롤링 하는 갯수가 실행마다 다릅니다.

235

차현철

작성한 질문수 3

0

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from urllib.request import urlopen

from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.maximize_window()

url = "https://www.google.com/search?q=%EC%82%AC%EA%B3%BC&sxsrf=ALeKk03BqEA7aHRUtvEA6hE14DpJIdLTNg:1624619249906&source=lnms&tbm=isch&sa=X&ved=2ahUKEwiQmqSq0rLxAhWSNKYKHco2CUQQ_AUoAXoECAEQAw&biw=958&bih=959"
browser.get(url)

soup = BeautifulSoup(browser.page_source, "lxml")

imgs = soup.find_all("div", attrs={"class":"isv-r PNCib MSM1fd BUooTd"})
print(len(imgs))

for idx, image in enumerate(imgs):
    print(idx)
    image = imgs[idx].find("img", attrs={"class":"rg_i Q4LuWd"})
    name = image.get('src')
    if name == None:
        continue
    if name.startswith("http"):
        image_res = requests.get(name)
        image_res.raise_for_status()

        with open("apple{}.jpg".format(idx+1), "wb") as h:
            h.write(image_res.content)
    else:
        with urlopen(name) as f:
            with open("apple{}.jpg".format(idx+1), "wb") as h:
                img_src = f.read()
                h.write(img_src)

    
browser.quit()
selenium을 통해 browser를 열고 html을 가져오는 방식을 이용했습니다.
구글 사과 이미지를 다운받는 코드를 작성했는데 실행마다 저장하는 이미지 갯수가 다릅니다.
그리고 image속성의 src가 모두 들어있는데 가끔 'src'를 찾을 수 없다는 error가 발생해서
if문으로 src속성값에 따라 분기처리를 했습니다.
왜 이런 상황이 발생하는지 알려주실 수 있나요??

python selenium 웹-크롤링 웹 스크래핑

답변 0

selenium 업그레이드됨... 문법도 바뀜

1

294

1

2024.08.28 수요일 기준 날씨 정보 가져오기 소스코드입니다 (참고하세요 : ) )

0

241

1

24년, 부동산 퀴즈 코드입니다. 참고하세요!!

0

189

1

git hub에 push할때 user-agent가 노출되도 상관이 없나요 ?

0

191

1

selenium 관련 web push notification 제어 질문

0

578

1

print(soup.a) 태그 값이 None으로 나옵니다.

0

1186

4

soup으로 검색한 버튼 또는 text를 click할때 어떻게 하나요 ?

1

3566

1

웹툰 사이트 body 안에가 안불러져옵니다.

0

681

2

네이버 웹툰을 활용한 BeautifulSoup 강좌에서 인터페이스가 달라졌습나다.

0

995

1

구글 무비 강좌에서요

0

399

0

네이버 IT뉴스 화면 requets.get 에러가 발생합니다ㅜ

0

437

0

23년 2월 7일, 다음 부동산 화면이 다름

0

413

0

네이버 항공권 관련 제가 작성한 코드 조심스럽게 공유해드립니다.ㅜ

7

2559

2

bs4 활용 2-1 질문합니다.

0

508

2

csv파일 깨짐

0

322

0

url 에러? (\UXXXXXXXX escape)

0

311

0

네이버 쇼핑으로 하면 왜 결과가 안 뜰까요?

0

384

0

쿠팡대신 네이버 쇼핑에서하는데, 5개 아이템만 나옵니다.

0

368

0

쿠팡 requests에 오류가 생기네요

0

2915

1

URL 문제

0

392

0

request 설치

0

322

0

from selenium import webdriver ?

0

354

1

네이버웹툰 랭크가 안불러져요...;;

0

303

0

안녕하세요 에러문의드려요

0

224

0