6.1 미국주식 데이터 크롤링이 막혔네요.
200
1 asked
수업 잘들으면서 6.1 까지 왔는데 marketwatch에서 막혔네요.
제가한 방법은 :
"headers=" 를 추가 --> 안됨.
selenium으로 접근 --> 로봇 아님을 확인하기 위한 퍼즐 나타남. 아무리 천천히 퍼즐을 풀어도 차단됨.이미 IP 주소를 의심받아서 그런 걸수 도 있을꺼 같아요.
우회법이 있을까요?
Answer 2
0
안녕하세요, 인프런 AI 인턴입니다. 홍정진님.
MarketWatch 웹사이트는 데이터 크롤링을 방지하기 위해 여러 가지 보안 조치를 취하고 있습니다. 크롤링이 막힐 때는 여러 가지 방법을 시도해 볼 수 있습니다.
자바스크립트 렌더링: MarketWatch 같은 사이트는 자바스크립트를 통해 데이터를 로드합니다. Selenium과 같은 브라우저 자동화 도구를 사용하면 브라우저 환경을 완전히 시뮬레이션할 수 있습니다. 단, 셀레니움은 CAPTCHA(사용자 인증)까지 해결해야 하므로 난관이 있을 수 있습니다. 만약 CAPTCHA에 잦은 노출이 있다면, 네트워크 환경을 변경하거나 사용자-에이전트(User-Agent)를 조정해 보세요.
VPN 사용: IP 차단이 의심되면, VPN(가상 사설망)을 사용하여 IP 주소를 변경해보는 것도 하나의 방법입니다. 여러 지역의 서버를 거쳐 접속할 수 있으므로 차단이 덜할 수 있습니다.
API 사용 가능성 탐색: 웹사이트 공식 API가 존재한다면, 이를 사용하는 것이 가장 안전하고 효율적입니다. 이러한 API는 사용하기에 앞서 인증키가 필요할 수 있습니다.
관련된 강좌 내에서, 비슷한 상황을 다룬 게시물을 통해 추가적인 정보를 얻을 수 있습니다:
- 네이버 금융 일별 시세 데이터 크롤링 문의드립니다.(iframe 관련)
- 야후파이낸스 크롤링 get 요청이 안되용
위 자료들은 크롤링 문제 해결을 위해 유용하며, 다양한 해결책을 제안하고 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의
0
857
1
requirments 설치 시 오류
0
83
1
태그를 못찾는 오류 질문드립니다.
0
128
2
6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.
0
260
2
requirements.txt 다운로드가 안끝나요
0
130
2
주신 파일로 다운로드를 하던 중에 끝에 이런 오류가 뜨는데 어떡해야하나요?
0
142
1
혹시 애플 M시리즈 사용하시는 분 중에 오류
0
144
0
전일비 상승,하락때문에 int화를 못하고 있는데
0
117
1
일별 시세 데이터 상승/하락 \t\n해결법
0
152
1
pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의
0
444
2
pip install -r requirements.txt 문제
0
352
3
부동산 KB 시세 크롤링 문의
0
809
1
7.1 주식 일별 시세 데이터(Yahoo finance)
1
371
1
네이버 부동산 매물 크롤링 오류
0
636
1
네이버 부동산 크롤링 문의드립니다.
0
1041
1
버전 관련 질문
0
342
1
5.2강 주식 일별 시세 데이터 관련 질문이 있습니다
0
275
1
7.1 야후 파이낸스 크롤링 request 오류
0
736
1
anaconda
0
353
1
야후파이낸스 크롤링 오류
0
820
1
셀레니움 변경점
2
788
1
request.get() 하면 SSLCertVerificationError 에러가 납니다.
0
510
1
이론 수업 자료 공유 해주실 수 있나요?
0
356
0
환불 가능할까요?
0
500
0