네이버 쇼핑몰 크롤링 진행중 무리하게 실험하다가 사이트 연결이 제한 되었습니다 ㅜㅜheaders를 추가하면 괜찮을줄 알았는데..다음에는 미리 방지하고자 headers 추가 말고도 다른 방법이 있을까요?<img src="https://cdn.inflearn.com/public/files/posts/a8f6a73c-657e-41c6-ac4a-7de40c5de30a/1.jpg" alt="1.jpg" title="1.jpg">&nbsp;

안녕하세요!한 개의 IP(MAC)에서 단기간 또는 지속적인 요청이 발생했을 때,서버 쪽에서 탐지하여 연결을 제한하는 것 같습니다.&nbsp;<ul><li>time.sleep 을 최대한 주어서 크롤링하는 방식이 제일 안전합니다. </li><li>IP 변경은 노트북을 이용하는 경우, 테더링을 이용해서 테스트해보시면 됩니다. </li></ul>

인프런 커뮤니티 질문&답변

headers를 추가했지만 크롤링이 감지 되어 연결이 제한 되었습니다. 이를 방지하기 위한 다른 방법이 있을까요?