inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

12시간 안에 끝내는 파이썬을 활용한 크롤링

reg.get("http://www.naver.com")

20

강형욱

작성한 질문수 1

0

req.get("http://www.naver.com")을 했더니
Response [403]이 뜹니다.

 

수업에서는 Response [200]이 떠야 된다고 되어 있는데

어떻게 해야 되나요?

python 웹-크롤링

답변 2

0

강형욱

image.png

지시하신 대로 했지만 계속 403이 뜹니다.

해결이 안되면 강의 진도가 나가지지 않습니다.

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 강형욱님.

HTTP 응답 코드 403은 서버가 요청을 이해했으나 클라이언트가 접근 권한이 없어 요청을 거부한 경우입니다. 이는 주로 요청이 차단되었거나, 접근 권한이 없는 경우에 발생합니다. 네이버와 같은 큰 웹사이트들은 봇이나 스크랩핑을 방지하기 위해 요청을 차단할 수 있습니다.

해결 방법:

  1. User-Agent 설정하기: 저희가 웹 브라우저에서 접속하는 것처럼 보이도록 User-Agent 헤더를 추가할 수 있습니다. 기본적으로 requests 라이브러리가 보낸 요청은 User-Agent가 설정되어 있지 않아 네이버에서 이를 봇으로 간주하고 차단할 수 있습니다.
   import requests

   headers = {
       "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"
   }
   response = requests.get("http://www.naver.com", headers=headers)
   print(response)
  1. IP 차단 확인하기: 만약 계속해서 403이 반환된다면, 네이버가 특정 IP에서의 접근을 차단했을 수도 있습니다. 이 경우 VPN을 사용하여 IP를 변경할 수 있습니다.

  2. 다른 프로그래밍 방법 사용하기: 일부 사이트에서는 사람들이 웹 스크래핑을 하는 것을 막기 위해 추가적인 보안 조치를 사용할 수 있습니다. Selenium과 같은 브라우저 자동화 도구를 사용할 수 있습니다.

이미지를 포함한 상세한 설명은 이 글에 방문하여 확인해보시기 바랍니다. 비슷한 상황에서 해결 방법을 자세히 설명해두었습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

질문 드립니다.

0

25

2

노션 링크

0

24

3

26년 1회 실기 해설 강의

0

30

2

노션 권한요청하였습니다 언제쯤 볼수있나요

0

27

2

AAFM CWM_LEVEL_2 Exam Questions 2026: Right Preparation Method

0

20

1

강의 내용 관련 질문드립니다~

0

27

2

퍼플렉시티 최소 결제단위 50달러로 바뀐 것 같습니다.

0

28

2

수강 연장 문의

0

23

1

강의자료 일괄 다운로드

0

29

2

5번 강의 1분까지 완료 후 오류가 뜹니다

0

22

2

list 문제 질문드립니다~

0

24

2

VS로 수강 중인 수강생

0

38

1

네이버 페이지 데이터 수집 실습에서 a.nav가 안되요ㅠ

0

78

1

궁금증

0

87

1

Beautifulsoup실습도중 발생한 문제

0

144

1

selenium 버전이 4.x 대가 되면서 메서드가 달라졌고, 크롬드라이버 다운도 방식이 달라졌습니다(24.09.07 기준)

1

260

1

수업중 따라하기 오류 ㅠㅠ

0

235

2

req.get("http://www.naver.com) 입력후 "Response[200]" 이라고 나오지 않네요 ㅠㅠ

0

179

1

인스타 그램 크롤링 할때

0

883

1

질문

0

311

1

셀레니움 변경사항 입니다.

0

271

0

동영상안에

0

248

0

코스피거래상위종목 수집 강의에서 nth-child 결과 질문입니다

0

629

1

질문이 있습니다.

0

285

1