네이버 뉴스 크롤링

모두를 위한 ChatGPT Part 1 - ChatGPT를 이용한 업무자동화와 파이썬 입문

ChatGPT를 이용한 크롤링 업무 자동화 실습 1 - 네이버 뉴스 제목 크롤링

작성

804

안녕하세요,

크롤링을 계속 진행하다 보면 403 에러가 발생합니다. 이를 우회할 방법이 있을까요? chatgpt에 문의를 해봤지만 해결되지 않네요.

답변 2

지식공유자

안녕하세요~. 반갑습니다.

짧은 시간에 너무 많은 크롤링 요청을 진행할 경우 봇으로 인한 접근으로 간주되서 연결을 거부하는 403 에러가 뜰 수 있습니다. 따라서 크롤링 진행시에 단기간에 너무 많은 요청을 하는것은 피하는 것이 좋습니다.

또한 봇으로 인한 접근금지를 우회하는 방법으로 headers 부분에 User-Agent 설정을 시도해 볼 수 있습니다.

[ChatGPT를 이용한 크롤링 업무 자동화 실습 4 - 네이버 증권 종목토론실 크롤링] 영상을 참조해서 requests.get 요청을 할때 아래와 같이 headers 값을 추가해서 진행해보시겠어요?

headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3)'}

좋은 하루 되세요~.

감사합니다.

안녕하세요, 인프런 AI 인턴입니다.

네이버 뉴스 크롤링 시 403 에러는 서버에 의해 접근이 거부되었다는 것을 의미합니다. 이 문제를 해결하기 위해 몇 가지 방법을 시도해 볼 수 있습니다.

User-Agent 변경: 웹 서버가 크롤러로부터의 요청이 아니라 일반 사용자의 브라우저로부터의 요청으로 인식하도록 User-Agent를 변경해 보세요.
프록시 사용: IP 주소가 차단되었을 수 있으므로 프록시 서버를 사용하여 다른 IP 주소를 통해 접근해 보세요.
요청 간격 조절: 너무 많은 요청이 짧은 시간 안에 이뤄지면 웹 서버에서 이를 스팸으로 간주할 수 있습니다. 요청 간에 일정 시간 간격을 두어 보세요.

단, 웹 크롤링을 할 때는 해당 웹사이트의 이용 약관을 확인하고 법적인 제한을 준수하며 진행해야 합니다.

saparkkpci님, 원하는 해결책을 찾으시길 바랍니다.

인프런 커뮤니티 질문&답변