크롤링 실행시 멈춤
609
1 asked
쿠팡 크롤링을 진행하려고합니다 처음에 확인을 위해 실행 시켜보았는데 input으로 제품 검색하면 목록이 뜨는겁니다. 하지만 입력하면 저상태에서 그냥 멈춰있습니다. 다시 실행도 안되구요 디버깅만 됩니다. 터미널창을 다 지우고 해보아도 그대로입니다. 어떤 문제일까요 ?
현재까지 쓴 코드이고 이것을 실행시키면 저 위와 같이 됩니다.
한 100번 실행 본다는 가정하에는 1번씩은 불러올때도 있습니다.
Answer 2
0
proxies가 두개 모두 http로 되어있네요. 한개는 https로 들어가야합니다. 한번 바꿔보세요.
그리고 코드를 이미지로 올리면 문제점을 찾기가 엄청 어렵습니다. 꼭 코드를 복사해서 올려주세요.
그리고 위 코드의 강의는 유튜브에만 있고 여기에는 없는 내용입니다. 질문은 유튜브 댓글로 올려주세요.
이 강의에 달리는 질문은 저에게 따로 알림이 오지 않습니다.
0
안녕하세요, 민지님. 크롤링 실행 중 멈춤 상황에 대해서 도움을 드릴 수 있도록 하겠습니다. 프로그램이 멈춰있는 상태에서 디버깅이 가능하다는 것은 어느 정도 원인을 파악하기 위한 단서를 제공할 수 있을 것입니다.
우선, 코드를 보고 현재 실행 중인 크롤링에 문제가 있는 것으로 보입니다. 다음과 같은 몇 가지 가능한 원인을 확인해 볼 수 있습니다.
웹 사이트의 응답 지연: 크롤링하는 사이트에서 응답이 느리거나 차단될 수 있습니다. 이 경우 코드를 실행할 때 추가적인 딜레이를 줘보는 것이 도움이 될 수 있습니다.
반복문에서의 오류: 코드에서 반복문이 사용되고 있는데, 특정 상황에서 반복문이 종료되지 않거나 무한 루프에 빠졌을 수 있습니다. 이 경우 반복문에서의 조건을 확인해보세요.
네트워크 연결 문제: 인터넷 연결 상태에 문제가 생길 수 있습니다. 네트워크 연결이 원활한지 확인하고, 파이썬 패키지나 라이브러리의 최신 버전을 사용하는지도 확인해주세요.
크롤링할 데이터의 크기: 크롤링할 데이터 양이 많아서 연산에 시간이 오래 걸릴 수 있습니다. 이 경우에는 코드를 최적화하거나 부분적으로 데이터를 가져오는 방법을 고려해볼 수 있습니다.
이 외에도 다양한 원인이 있을 수 있으므로, 완성된 코드와 함께 구체적인 에러 메시지 또는 실행 중인 환경(예: 사용하는 운영체계, 파이썬 버전 등)에 대한 정보를 제공해주시면 더 정확한 도움을 드릴 수 있을 것입니다.
import time
0
63
1
에러가 너무 납니다.
0
665
1
에러가 아래와 같이 뜨는데 어떤 이유 일가요?
0
515
0
import
0
259
0
소스 다운은 어디서 받나요?
0
282
0
네이버가 현재 강의로는 크롤링 안되게 해놓았네요
1
300
1
FileNotFound Error
0
413
0
import error
0
375
1
.text 사용 시 값이 비어있는 칸은 nonetype이 들어가서 에러가 발생하는데 예외처리를 어떻게 해야하나요 ?
0
184
0
크롤링 할때 sh_blog_title 형식으로 안나오는데요! ㅠ
0
205
0
Pyautogui.moveTo 작동이 안돼요
1
493
0
네이버 검색 크롤링에서 무한 스크롤 문제 해결
0
438
0
키에러가 나는데 어떻게 해야하는지 궁금합니다.
1
505
1
에러가 뜹니다
0
218
0
스크린샷 폴더 위치 어떻게 아나요?
0
342
0
GuessedAtParserWarning가 뜨고 r의 타입이 다르게 나옵니다
0
704
2
keyError 해결
1
281
1
오류 관련 질문이요
0
745
1
공유하고 싶은 점
2
182
1
크롤링 실행할 때 질문입니다!!
0
265
1
클래스에 궁금한 점이요!!
0
218
1
질문있습니다.
0
235
1
주피터 노트북에서는 안되나요?
0
258
1
하나만 더 질문할게요..
0
233
1