첫페이지 크롤링 이 안되네요.
483
최범석
작성한 질문수 6
1
쿠팡 첫페이지 크롤링이 안됩니다.
ㅜㅜ 이건 어떻게 해결을 해야 할까요?
오류 메세지 조차 안나오고 멈춰버려요 ㅠㅜ
터미널에서 확인했을때 커서만 깜빡이고 진행을 안합니다.ㅡㅜ
from itertools import product
import requests
from bs4 import BeautifulSoup
main_url = "https://www.coupang.com/np/search?component=&q=%EA%B2%8C%EC%9D%B4%EB%B0%8D+%EB%A7%88%EC%9A%B0%EC%8A%A4"
#헤더에 유저에이전트 추가
response = requests.get(main_url, headers={'User-Agent' : 'Mozila/5.0'})
html = response.text
soup = BeautifulSoup(html, 'html.parser')
links = soup.select("a.search-product-link")
#print(links)
for link in links :
sub_url = "https://www.coupang.com/" + link.attrs['href']
response = requests.get(sub_url, headers={'User-Agent' : 'Mozila/5.0'})
html = response.text
soup = BeautifulSoup(html, 'html.parser')
#브랜드명
brand_name = soup.select_one("a.prod-brand-name").text
#상품명
product_name = soup.select_one("h2.prod-buy-header__title").text
#가격
product_price = soup.select_one("span.total-price > strong").text
print(brand_name, product_name ,product_price)
답변 2
1
아참 그리고 스타트코딩 다른 플랫폼에 있는 클래스도 함께 들어도 상관없을까요?
셀레니움 환경설정 오류
0
46
2
네이버 로그인 관련
0
256
2
안녕하세요 셀레니움에 대해서 질문
0
85
1
크롤링 연습사이트 문의
0
96
2
선택자 질문
0
71
2
'특정 요소가 나타날 때까지 스크롤' 부분 에러
0
76
2
자동 로그인 질문
0
86
2
44강 제목, 링크
0
105
1
원하는 값이 없을 때
0
89
2
크롤링한 링크가 엑셀로 들어가면 작동이 안되요
0
227
2
셀레니움 PDF자료는 받을 수 있나요
0
100
2
글목록 추출하기
0
97
2
메일 자동화 로그인 중복방지문자해결 오류 및 명시적 대기 질문
0
88
2
강의 노트가 어디에 있는건가요?
0
80
2
강의 커리큘럼 질문
0
98
1
조건문 else 사용하지 않는 이유
0
76
2
셀레니움으로 접근할 수 없는 경우
0
95
2
웹페이지 변경
0
70
2
자바스크립트로 태그 선택 시 질문입니다.
1
64
2
수료증은 어떻게 받나요?
0
120
2
class명을 활용하여 선택자를 만들지 않는 경우..?
0
60
2
드라이버가 안 열려요
0
79
2
이거 해결방법 아시는 분?
0
121
2
네이버 지식인 크롤링..
0
201
2