네이버 뉴스 크롤링
990
3 asked
안녕하세요,
크롤링을 계속 진행하다 보면 403 에러가 발생합니다. 이를 우회할 방법이 있을까요? chatgpt에 문의를 해봤지만 해결되지 않네요.
Answer 2
0
안녕하세요~. 반갑습니다.
짧은 시간에 너무 많은 크롤링 요청을 진행할 경우 봇으로 인한 접근으로 간주되서 연결을 거부하는 403 에러가 뜰 수 있습니다. 따라서 크롤링 진행시에 단기간에 너무 많은 요청을 하는것은 피하는 것이 좋습니다.
또한 봇으로 인한 접근금지를 우회하는 방법으로 headers 부분에 User-Agent 설정을 시도해 볼 수 있습니다.
[ChatGPT를 이용한 크롤링 업무 자동화 실습 4 - 네이버 증권 종목토론실 크롤링] 영상을 참조해서 requests.get 요청을 할때 아래와 같이 headers 값을 추가해서 진행해보시겠어요?
headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3)'}
좋은 하루 되세요~.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다.
네이버 뉴스 크롤링 시 403 에러는 서버에 의해 접근이 거부되었다는 것을 의미합니다. 이 문제를 해결하기 위해 몇 가지 방법을 시도해 볼 수 있습니다.
- User-Agent 변경: 웹 서버가 크롤러로부터의 요청이 아니라 일반 사용자의 브라우저로부터의 요청으로 인식하도록 User-Agent를 변경해 보세요.
- 프록시 사용: IP 주소가 차단되었을 수 있으므로 프록시 서버를 사용하여 다른 IP 주소를 통해 접근해 보세요.
- 요청 간격 조절: 너무 많은 요청이 짧은 시간 안에 이뤄지면 웹 서버에서 이를 스팸으로 간주할 수 있습니다. 요청 간에 일정 시간 간격을 두어 보세요.
단, 웹 크롤링을 할 때는 해당 웹사이트의 이용 약관을 확인하고 법적인 제한을 준수하며 진행해야 합니다.
saparkkpci님, 원하는 해결책을 찾으시길 바랍니다.
강의가 중복됐어요
0
13
0
결제가 이루어지는 방식에 대한 문의
0
17
0
소리
0
19
1
postgresql 인텔리제이 커뮤니케이션 버전에서는 실행 안되나요?
0
54
2
response api를 사용하는것과 codex, cluade code 에이전트를 사용하는것과의 차이
0
34
1
스크립트 영상 미일치
0
70
3
수업자료 관련 문의
0
65
3
자료가 왜 전부 일본어에요?
0
42
1
1강 동영상 재생 오류
1
65
2
서브에이전트
1
42
1
2강 - 눈에 보이는 낭비, 눈에 보이지 않는 낭비: 값의 의미
1
42
1
스크립트 한국어로 나오다가 영어로 나옴
1
42
1
12, 14번 강의에 수업자료가 없습니다.
0
39
1
20번 강의 LoRA 실습이 에러가 납니다.
0
55
1
[해결됨]윈도우즈 환경에서 타입 스크립트 파일이 실행이 안됩니다.
1
83
5
윈도우즈 환경에서 진행중입니다.
0
59
2
강의 제목과 시간이 같아요
0
61
2
강의 내용이 미완성인가요?
1
70
1
수강자료 다운로드 관련 문의
0
106
2
영상이 안나옵니다. 그냥 빈공간이에요
1
95
3
이북 다운로드 위치 문의
1
57
1
유튜브는 4일전에도 영상 올라왔던데, 이 강의는 언제쯤 ㅜㅜ
1
70
1
강의 자료 다운로드 관련 문의
0
76
1
파이썬 라이브러리 관련 질문입니다.
0
181
2