첫페이지 크롤링 실행이 안됩니다.
270
kkk222
작성한 질문수 3
1
import requests
from bs4 import BeautifulSoup
main_url = "https://www.coupang.com/np/search?q=%EA%B2%8C%EC%9D%B4%EB%B0%8D%20%EB%A7%88%EC%9A%B0%EC%8A%A4&channel=recent"
# 헤더에 User-Agent를 추가하지 않으면 오류가 남
response = requests.get(main_url,headers={'User-Agent' : 'Mozila/5.0'})
html = response.text
soup = BeautifulSoup(html,'html.parser')
links = soup.select("a.search-product-link") # select의 결과는 리스트 자료형(여러개)
print(links)답변 1
0
해당 강의의 강의노트를 참고해 보시기 바랍니다 ^^
0
강의 노트가 어딨는지 못찾겠습니다. ㅜㅜ
소스 코드 남겨주시면 감사하겠습니다.
+
인터넷 서칭 해본 결과 User-Agent 를 약간 변경해야 하는것 같아서
import requests
from bs4 import BeautifulSoup
main_url = "https://www.coupang.com/np/search?q=%EA%B2%8C%EC%9D%B4%EB%B0%8D%20%EB%A7%88%EC%9A%B0%EC%8A%A4&channel=recent"
# 헤더에 User-Agent를 추가하지 않으면 오류가 남
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'}
response = requests.get(main_url,headers=header)
html = response.text
soup = BeautifulSoup(html,'html.parser')
links = soup.select("a.search-product-link") # select의 결과는 리스트 자료형(여러개)
print(links)코드를 이렇게 변경하면 되나요?
여전히 실행은 안됩니다 ㅜㅜ
0
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36','Cookie': 'GSP=A=7_cV4w:CPTS=1654785473:LM=1654785473:S=n9a7P7syvEx3nONo; NID=511=MyGhFfwN2Y_7VS3Uf5iH34nuwysQS2BKgP5rIg3unnXniEC0D96W480QTrgX5u0ZpK85OrRfTt4-qvX_gcM11bpdbxPN0ApykvA3t_PBg14yAx0QrRhvVIPuwoV-FAoojLAnDzEetxw2yS2bziMHclZ6-wJg_34G6O5r4to4uJU'}
로 바꾸니 정상적으로 실행 되었습니다.셀레니움 환경설정 오류
0
51
2
네이버 로그인 관련
0
273
2
안녕하세요 셀레니움에 대해서 질문
0
87
1
크롤링 연습사이트 문의
0
97
2
선택자 질문
0
71
2
'특정 요소가 나타날 때까지 스크롤' 부분 에러
0
78
2
자동 로그인 질문
0
89
2
44강 제목, 링크
0
106
1
원하는 값이 없을 때
0
90
2
크롤링한 링크가 엑셀로 들어가면 작동이 안되요
0
227
2
셀레니움 PDF자료는 받을 수 있나요
0
100
2
글목록 추출하기
0
99
2
메일 자동화 로그인 중복방지문자해결 오류 및 명시적 대기 질문
0
90
2
강의 노트가 어디에 있는건가요?
0
80
2
강의 커리큘럼 질문
0
99
1
조건문 else 사용하지 않는 이유
0
76
2
셀레니움으로 접근할 수 없는 경우
0
95
2
웹페이지 변경
0
72
2
자바스크립트로 태그 선택 시 질문입니다.
1
64
2
수료증은 어떻게 받나요?
0
120
2
class명을 활용하여 선택자를 만들지 않는 경우..?
0
61
2
드라이버가 안 열려요
0
79
2
이거 해결방법 아시는 분?
0
121
2
네이버 지식인 크롤링..
0
202
2