Jaewoo Jin님의 게시글

질문&답변

로드해야 추가로 나타나는 제품들은 어떻게 크롤링 하나요?

빠른 답변 정말 감사합니다:) 아래 사이트가 스크롤하면 제품이 추가 되는 방식이고요, 해당 페이지도 말씀하신 방법을 배우고 해야 하는건지 아니면 다른 간단한 방법이 있는건지가 궁금하네요:) import requests from bs4 import BeautifulSoup res = requests.get("https://www.converse.co.kr/category/shoes") soup = BeautifulSoup(res.content, "html.parser") data = soup.select("div.product-tile-details") prd_list = list() for index, item in enumerate(data): data2 = item.select_one('a.text-link').get_text() data3 = item.select_one('span.sale').get_text() data4 = "https://www.converse.co.kr" + item.select_one('a.text-link')['href'] res2 = requests.get(data4) soup2 = BeautifulSoup(res2.content, 'html.parser') modelinfo = soup2.select_one('span.product-id') prd_list.append([index + 1,data2,data3,modelinfo.get_text()]) import openpyxl excel_file = openpyxl.Workbook() excel_sheet = excel_file.active excel_sheet.append(["no","상품명","가격","모데명"]) for i in prd_list: excel_sheet.append(i) excel_file.save('converse.xlsx') excel_file.close() 감사합니다^^