인프런 커뮤니티 질문&답변
작성한 질문수
로드해야 추가로 나타나는 제품들은 어떻게 크롤링 하나요?
작성
·
352
답변 2
0
빠른 답변 정말 감사합니다:)
아래 사이트가 스크롤하면 제품이 추가 되는 방식이고요, 해당 페이지도 말씀하신 방법을 배우고 해야 하는건지 아니면 다른 간단한 방법이 있는건지가 궁금하네요:)
import requests
from bs4 import BeautifulSoup
res = requests.get("https://www.converse.co.kr/category/shoes")
soup = BeautifulSoup(res.content, "html.parser")
data = soup.select("div.product-tile-details")
prd_list = list()
for index, item in enumerate(data):
data2 = item.select_one('a.text-link').get_text()
data3 = item.select_one('span.sale').get_text()
data4 = "https://www.converse.co.kr" + item.select_one('a.text-link')['href']
res2 = requests.get(data4)
soup2 = BeautifulSoup(res2.content, 'html.parser')
modelinfo = soup2.select_one('span.product-id')
prd_list.append([index + 1,data2,data3,modelinfo.get_text()])
import openpyxl
excel_file = openpyxl.Workbook()
excel_sheet = excel_file.active
excel_sheet.append(["no","상품명","가격","모데명"])
for i in prd_list:
excel_sheet.append(i)
excel_file.save('converse.xlsx')
excel_file.close()
감사합니다^^
0
안녕하세요. 웹페이지를 구현하는 다양한 기술이 있고, 이 중에 말씀하신 기술은 SPA (Single Page Application) 라는 기술이예요. 단일 주소에서 모든 내용이 표시되는 것인데요. 스크롤하면서 표현되는 부분들은 동적으로 데이터가 웹페이지에 붙여지게 되요. 이 부분을 동적 페이지라고 하는데요. 이 부분은 사실 쉽지 않아요. 왜냐하면 각 웹페이지마다 해당 페이지에 맞게 크롤링을 해야해서, 어느 특정한 패턴 코드를 만들 수도 없거든요.
동적 웹페이지는 selenium 기술을 사용해야 해요. 이외에도 몇 가지 기술이 있는데, 여러 테스트를 해봤을 때, 이 기술이 그나마 가장 안정성이 있었고요. 다음 강의에서 동적 페이지를 크롤링하는 기술에 대해 강의를 진행하고 있습니다. 다만 중급 강의예요.
IT 기술에 대해 강의를 오픈할 때는 모두들 누구나~ 할 수 있다고 이야기하지만, 분명 단계가 있어요. 파이썬 입문과 크롤링 기초 부트캠프 강의 내용을 어느 정도 익히고 활용할 수 있는 수준이 되어야, 다음 기술을 익힐 수 있어요. 이 부분은 예전에 저처럼 시행착오를 하시지 않도록 말씀드려요. 감사합니다.