네이버부동산 크롤링 방지 우회 질문
5629
작성한 질문수 1
안녕하세요.
우선 정성스러운 강의 덕분에 많은 도움이 되고 있는 점, 감사드립니다.
강의를 바탕으로 실제로 원하는 내용을 크롤링하려다 보니 막히는 부분이 있어 질문드립니다.
네이버부동산에 강의해주신 주택이 아니라 상업용부동산 정보를 가지고 오고자 코드를 만들고 있습니다.
우선 개별 물건들의 물건번호는 확보하였고, 이 물건 번호(articleNo_list)를 이용해서 개별 물건의 정보를 가지고 오기 위해 아래와 같이 코드를 만들었습니다.
하지만 코드를 실행하니 아래와 같이 에러가 발생하였습니다.
물건 하나에 대한 정보는 잘 가져오는 것은 확인하였고, 여러 물건을 한번에 가져오기 위해 이것을 단지 for loop으로 바꾸기만 하였는데 에러가 발생하는 것을 보니 아마 네이버에서 자체적으로 개별정보를 다량으로 크롤링 하는 것을 막고 있는 것이 아닌가 생각됩니다.
혹시 sleep 시간을 길게 가져가면 되는지 보기 위해 보시는 것처럼 sleep을 5초까지 가져갔음에도 결국은 같은 에러가 나옵니다
이런 경우에 해결책은 없는지 조언부탁드립니다.
감사합니다.
답변 1
2
안녕하세요!
네이버부동산이 점점 rule기반 blocking을 하는 것 같습니다.
대응책은
1. header 정보를 매 request마다 조금씩 바꿔보기(User-agent)
2. retrying이라는 라이브러리를 이용해서 request fail시 재요청하는 작업 자동화해보기: https://github.com/rholder/retrying
3. 셀레니움으로 전환하기
정도가 있을 것 같습니다.
도움이 되셨으면 좋겠네요
감사합니다.
0
조언해주신대로 requests할 때 마다 header에 넣는 user-agent를 비롯한 여러 정보들을 바꾸어주면서 retrying 라이브러리를 같이 이용하니 해결이 되었습니다.
몇일동안 끙끙앓고 있었는게 이렇게 간단하게 해결이 되다니 정말 감사합니다!!!!!!!!!!
0
안녕하세요~! 혹시 가능하시면 이메일주소 부탁드리겠습니다.
저도 지금 상업용부동산 데이터 이용에 관하여 크롤링툴을 만들고 있는데 궁금한것들이 있어서 질문드리고자 합니다.
저의 이메일주소 1ndskin@Gmail.com 입니다.
15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의
0
869
1
requirments 설치 시 오류
0
85
1
6.1 미국주식 데이터 크롤링이 막혔네요.
0
208
2
태그를 못찾는 오류 질문드립니다.
0
131
2
6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.
0
265
2
requirements.txt 다운로드가 안끝나요
0
135
2
주신 파일로 다운로드를 하던 중에 끝에 이런 오류가 뜨는데 어떡해야하나요?
0
145
1
혹시 애플 M시리즈 사용하시는 분 중에 오류
0
145
0
전일비 상승,하락때문에 int화를 못하고 있는데
0
121
1
일별 시세 데이터 상승/하락 \t\n해결법
0
153
1
pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의
0
453
2
pip install -r requirements.txt 문제
0
355
3
부동산 KB 시세 크롤링 문의
0
817
1
7.1 주식 일별 시세 데이터(Yahoo finance)
1
372
1
네이버 부동산 매물 크롤링 오류
0
639
1
네이버 부동산 크롤링 문의드립니다.
0
1044
1
버전 관련 질문
0
346
1
5.2강 주식 일별 시세 데이터 관련 질문이 있습니다
0
276
1
7.1 야후 파이낸스 크롤링 request 오류
0
738
1
anaconda
0
356
1
야후파이낸스 크롤링 오류
0
822
1
셀레니움 변경점
2
790
1
request.get() 하면 SSLCertVerificationError 에러가 납니다.
0
514
1
이론 수업 자료 공유 해주실 수 있나요?
0
361
0