인프런 커뮤니티 질문&답변
작성한 질문수
requests 최대 재시도 횟수 오류
작성
·
572
0
\몽고DB 저장을 위한 데이터 완성 3분 46초
강의에서는 21페이지까지만 요청했는데
저는 테스트삼아 range (1, 201) 로
200페이지까지 요청을 해봤습니다.
그런데 아래와 같은 오류가 뜨는데
해결책이 있을까요?
검색으로 알아보니 방확벽 문제일 수도 있고
너무 단시간내 하나의 ip에서 너무 많은
요청을 보내니 sleep으로 해결하라는 글도
봤는데 어떻게 해결해야될지 감이 안잡힙니다 ㅜㅜ
해결책 알려주시면 감사하겠습니다 :)
답변 1
0
잔재미코딩 DaveLee
지식공유자
안녕하세요.
사이트 운영에 있어서, 크롤링은 굉장한 부담이 됩니다.
그래서, 200번씩 호출하면, 사이트 자체에서 막을 수도 있고요.
이런 일이 심하다 싶으면, 아예 사이트를 개편해버릴 수도 있어서, 가급적 테스트도 합리적인 선에서 진행해보시면 좋을 것 같아요.
200번씩 호출하면 최대 호출을 초과한다는 의미라서, 너무 많이 호출했다 정도로 이해하시면 좋을 것 같습니다.
감사합니다.