인프런 커뮤니티 질문&답변

네이버는 막혀서

다음으로 실습해봤습니다.

다음은 딱히 안막는 같은데

네이버와 달리 일반상품과 광고상품으로 구분은 없어서

마지막 페이지까지 크롤링해봤습니다.

(13페이지까지 있는 품목으로)

결과는 나오는거 같은데 혹시 잘못된 부분이나 부족한 부분있으면 답장 부탁드립니다^^;;

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

import time

from bs4 import BeautifulSoup

# 크롬 드라이버 생성
driver = webdriver.Chrome()

for page in range(1, 20):

    url = f"https://shoppinghow.kakao.com/search/%ED%97%88%EB%8B%AD%20FIT%20%EC%A0%80%EC%97%BC/page:{page}&view_type:list&image_filter_cnt:77"

    driver.get(url)

    # 스크롤전 높이 측정
    last_height = driver.execute_script("return document.body.scrollHeight")

    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")

        # 대기 시간이 없으면 1번만 스크롤한다. 중요!!!!!!
        time.sleep(1)
        # 스크롤 후 높이
        after_height = driver.execute_script("return document.body.scrollHeight")
        # 비교
        if last_height == after_height:
            print(after_height)
            break

        # 스크롤 전 높이 업데이트
        last_height = after_height

    html = driver.page_source
    soup = BeautifulSoup(html,'html.parser')

    items = soup.select(".wrap_prod_top")
    i = 1
    for item in items:

        name = item.select_one(".wrap_cont > strong > a").text
        link = "https://shoppinghow.kakao.com/" + item.select_one(".wrap_cont > strong > a").attrs['href']
        price = item.select_one("span.num_price.lowest").text.replace("최저가","")


        print(page,i,name,price,link)
        i += 1

    # 맨뒤 버튼 확인
    last_page_btn = soup.select_one("#searchContent > div.cont_result > div.wrap_prod_list > div > span > a.ico_comm3.btn_next")

    if last_page_btn is None:
        break     
    print(page,i,name,price,link)

수집되는거 테스트하고 코드확인해봤습니다.

for i in range(1, 10000):
이런식으로 완전 큰 숫자 넣어주면 좋을 듯해요

나머지는 아주 깔끔한데요?? ㅎㅎ
바로 다른 사이트로가서 응용하는 모습 너무 보기 좋습니다 👏🏻👏🏻👏🏻