첫페이지 크롤링하기 오류
366
작성한 질문수 2
안녕하세요!! 바꿔서 올려주신 강의자료 복사해서 사용해도 작동하지 않습니다!!
맥북 사용중이라 혹시나해서 유저 에이전트 값을
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 으로 변경해서 진행했는데도 값이 나오지 않아요!! 확인부탁드립니다.!
import requests
from bs4 import BeautifulSoup
main_url = "https://www.coupang.com/np/search?component=&q=usb%ED%97%88%EB%B8%8C&channel=user"
# 헤더에 User-Agent, Accept-Language 를 추가하지 않으면 멈춥니다
header = {
'Host': 'www.coupang.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'ko-KR,ko;q=0.8,en-US;q=0.5,en;q=0.3',
}
response = requests.get(main_url, headers=header)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
links = soup.select("a.search-product-link") # select의 결과는 리스트 자료형
print(links)답변 1
0
안녕하세요.
코딩을 가장 쉽게 알려주는 크리에이터 스타트코딩입니다!
보내주신 코드로 테스트 해봤을 때
결과가 잘 출력 되고 있는데요, 혹시 오류나 결과물이 어떻게 출력 되고 있을 까요?
저는 이런 식으로 잘 나오고 있습니다 :)
1
안녕하세요 스타트업 코딩님!!!
오늘 다시 해보니까 돌아갑니다!!! ㅠㅠ 신기한게 다시 또 한참 수업 따라 듣고 실습하다가 돌아가서 똑같이 실행하면 다시 안되더라구용!! 다시 재부팅 하고 나니까 또 돌아가는거 보면, 실습하면서 문제? 가 발생하는 구조인가봐요! 창 다끄고 실행해도 안됩니다.
0
동작하다가 동작하지 않다가 하는 것은
바로 정확한 원인을 파악하기 힘듭니다.
코드 상에 문제가 있다기 보다
서버 쪽에 많은 요청을 한번에 보내서 잠시 Lock이 걸린 경우
시스템(프로그램이나 운영체제 쪽)에 문제가 있는 경우
두 가지 중 하나 일 것 같네요!
우선 time.sleep을 적절히 줘 가면서 테스트 해보시기 바랍니다 :)
셀레니움 환경설정 오류
0
46
2
네이버 로그인 관련
0
254
2
안녕하세요 셀레니움에 대해서 질문
0
85
1
크롤링 연습사이트 문의
0
96
2
선택자 질문
0
71
2
'특정 요소가 나타날 때까지 스크롤' 부분 에러
0
76
2
자동 로그인 질문
0
86
2
44강 제목, 링크
0
105
1
원하는 값이 없을 때
0
89
2
크롤링한 링크가 엑셀로 들어가면 작동이 안되요
0
227
2
셀레니움 PDF자료는 받을 수 있나요
0
100
2
글목록 추출하기
0
97
2
메일 자동화 로그인 중복방지문자해결 오류 및 명시적 대기 질문
0
88
2
강의 노트가 어디에 있는건가요?
0
80
2
강의 커리큘럼 질문
0
98
1
조건문 else 사용하지 않는 이유
0
76
2
셀레니움으로 접근할 수 없는 경우
0
95
2
웹페이지 변경
0
70
2
자바스크립트로 태그 선택 시 질문입니다.
1
64
2
수료증은 어떻게 받나요?
0
119
2
class명을 활용하여 선택자를 만들지 않는 경우..?
0
60
2
드라이버가 안 열려요
0
79
2
이거 해결방법 아시는 분?
0
121
2
네이버 지식인 크롤링..
0
201
2