크롤링 도중 에러가 나면 어떻게 이어서 진행할 수 있을까요?
3247
작성한 질문수 1
안녕하세요. 재밌게 수강하고 있습니다.
크롤링 도중에 아래와 같이 [WinError 10060]이 뜨면서 크롤링이 멈추게 되었습니다. 구글링해보니 서버와 응답이 오래걸려서 나는 에러라고 하던데, 두 가지 질문 드릴라고 합니다.
1. 아래와 같은 서버 응답에러를 최소화 할 수 있는 방법이 있을까요? (아마도 좋은 네트워크 환경과 좋은 장비겠죠? 혹시 또다른 팁이 있을까 질문드립니다.)
2. [WinError 10060]에러가 서버와 응답으로 인한 일시적인 에러라면, 다시 크롤링을 자동으로 시도하도록 할 수 있을까요? 아니면 나중에라도 다시 이어서 할 수 있도록 크롤링한 홈페이지 주소를 로깅하는 방법밖에 없을까요?
답변 1
0
안녕하세요. 이런 경우는 아무래도 너무 많은 요청을 하나의 프로그램에서 특정 사이트에 할 경우, 특정 사이트측에서 부하가 걸리거나, 아니면 의도적으로 특정 수준의 요청 이상일 경우, 연결을 끊어서 나타날 수 있습니다. 또는 말씀하신대로 네트워크 문제일 수도 있어요.
만약 이 문제가 특정 사이트측에서 부하가 걸려서, 의도적으로 일정 수준 요청 이상일 경우 끊는 것이라면, 가능하다면, 프로그램을 나눠서, 너무 많은 요청이 하나의 프로그램 실행시 되지 않도록 조절해주면 좋을 것 같습니다. 물론 네트워크 문제라면 이 부분은 네트워크를 좋게 해야하겠지만, 위와 같이 한다면, 그래도 느린 네트워크에서도 어느 정도는 보완될 수 있지 않을까 합니다. 저희 수업이 특정 사이트를 모조리 긁어오는 것이 목적이 아니라, 연습을 해보는 것이니까요...
감사합니다.
FOREIGN KEY 정리하기, 영상대로 SQL코드 복붙해도 안되요.
0
3
1
실습을 따라하는데 데이터베이스가 보이지 않아요
0
54
1
섹션1 4강부터 강의 실행 안됨 이슈
0
77
1
강의 자료 다운로드 관
0
90
1
강의 영상이 안나와요..
0
82
1
섹션4 화면 자체가 안나와요
0
118
1
강의 화면이 안 보이고, 목소리밖에 안나와요 ;;
0
116
1
데이터 삭제 질문
0
123
1
mysql 설치가 되지 않습니다.
0
1389
3
강의 결과 질문 - SQLD, 데이터베이스 설계, 프로젝트 구축 하여 취업
0
147
1
지마켓 파일 불러왔는데, 테이블이 생성이 안됩니다
0
119
1
실습 코드 깃허브 업로드
0
145
1
sql_safe_updates 옵션
0
154
1
sql 설치 문제
0
1424
2
서브쿼리를 JOIN으로 바꾸기
0
157
1
중고급 SQL과 실전 데이터 문의
1
158
1
(맥환경) workbench 이용할 때 패스워드 입력 안해도 자동으로 활성화 가능해져요..
0
351
1
강의 커리큘럼 질문 있습니다.
0
176
1
강의 자료 이미지가 보이지 않습니다.
0
162
1
Join 구문에서 메인 테이블
0
179
1
예제문제 추가 쿼리 질문
0
204
2
강의 화면 출력이 되지 않는 현상
0
211
1
파이썬으로 다루는 MySQL
0
208
1
JOIN 활용 SQL 연습문제
0
179
1