인프런 커뮤니티 질문&답변

작성한 질문수

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

텍스트를 포함하는 태그 찾기 (feat.정규표현식)

첫페이지 크롤링 실행이 안됩니다.

작성

·

257

1

import requests
from bs4 import BeautifulSoup

main_url = "https://www.coupang.com/np/search?q=%EA%B2%8C%EC%9D%B4%EB%B0%8D%20%EB%A7%88%EC%9A%B0%EC%8A%A4&channel=recent"

# 헤더에 User-Agent를 추가하지 않으면 오류가 남
response = requests.get(main_url,headers={'User-Agent' : 'Mozila/5.0'})
html = response.text
soup = BeautifulSoup(html,'html.parser')

links = soup.select("a.search-product-link") # select의 결과는 리스트 자료형(여러개)
print(links)

웹-크롤링 python

답변 1

0

스타트코딩

지식공유자

해당 강의의 강의노트를 참고해 보시기 바랍니다 ^^

질문자

강의 노트가 어딨는지 못찾겠습니다. ㅜㅜ
소스 코드 남겨주시면 감사하겠습니다.

+

인터넷 서칭 해본 결과 User-Agent 를 약간 변경해야 하는것 같아서

import requests
from bs4 import BeautifulSoup

main_url = "https://www.coupang.com/np/search?q=%EA%B2%8C%EC%9D%B4%EB%B0%8D%20%EB%A7%88%EC%9A%B0%EC%8A%A4&channel=recent"

# 헤더에 User-Agent를 추가하지 않으면 오류가 남
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'}

response = requests.get(main_url,headers=header)
html = response.text
soup = BeautifulSoup(html,'html.parser')

links = soup.select("a.search-product-link") # select의 결과는 리스트 자료형(여러개)
print(links)

코드를 이렇게 변경하면 되나요?
여전히 실행은 안됩니다 ㅜㅜ

질문자

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36','Cookie': 'GSP=A=7_cV4w:CPTS=1654785473:LM=1654785473:S=n9a7P7syvEx3nONo; NID=511=MyGhFfwN2Y_7VS3Uf5iH34nuwysQS2BKgP5rIg3unnXniEC0D96W480QTrgX5u0ZpK85OrRfTt4-qvX_gcM11bpdbxPN0ApykvA3t_PBg14yAx0QrRhvVIPuwoV-FAoojLAnDzEetxw2yS2bziMHclZ6-wJg_34G6O5r4to4uJU'}

로 바꾸니 정상적으로 실행 되었습니다.

작성한 질문수