-
질문 & 답변
카테고리
-
세부 분야
데이터베이스
-
해결 여부
미해결
크롤링 도중 에러가 나면 어떻게 이어서 진행할 수 있을까요?
20.03.17 08:52 작성 조회수 3.02k
0
안녕하세요. 재밌게 수강하고 있습니다.
크롤링 도중에 아래와 같이 [WinError 10060]이 뜨면서 크롤링이 멈추게 되었습니다. 구글링해보니 서버와 응답이 오래걸려서 나는 에러라고 하던데, 두 가지 질문 드릴라고 합니다.
1. 아래와 같은 서버 응답에러를 최소화 할 수 있는 방법이 있을까요? (아마도 좋은 네트워크 환경과 좋은 장비겠죠? 혹시 또다른 팁이 있을까 질문드립니다.)
2. [WinError 10060]에러가 서버와 응답으로 인한 일시적인 에러라면, 다시 크롤링을 자동으로 시도하도록 할 수 있을까요? 아니면 나중에라도 다시 이어서 할 수 있도록 크롤링한 홈페이지 주소를 로깅하는 방법밖에 없을까요?
답변을 작성해보세요.
0
잔재미코딩 DaveLee
지식공유자2020.03.17
안녕하세요. 이런 경우는 아무래도 너무 많은 요청을 하나의 프로그램에서 특정 사이트에 할 경우, 특정 사이트측에서 부하가 걸리거나, 아니면 의도적으로 특정 수준의 요청 이상일 경우, 연결을 끊어서 나타날 수 있습니다. 또는 말씀하신대로 네트워크 문제일 수도 있어요.
만약 이 문제가 특정 사이트측에서 부하가 걸려서, 의도적으로 일정 수준 요청 이상일 경우 끊는 것이라면, 가능하다면, 프로그램을 나눠서, 너무 많은 요청이 하나의 프로그램 실행시 되지 않도록 조절해주면 좋을 것 같습니다. 물론 네트워크 문제라면 이 부분은 네트워크를 좋게 해야하겠지만, 위와 같이 한다면, 그래도 느린 네트워크에서도 어느 정도는 보완될 수 있지 않을까 합니다. 저희 수업이 특정 사이트를 모조리 긁어오는 것이 목적이 아니라, 연습을 해보는 것이니까요...
감사합니다.
답변 1