크롤링 관련 몇가지 질문입니다.
278
작성한 질문수 2
제로초님, 몇가지를 모아 질문드리오니 조언부탁드립니다.
1. proxy 접속
- latency가 낮은 IP로 접속하는 로직을 적용하면 (정규식으로 document.querySelector 이하 replace), DOM에서 없었는데 IP뒤에 "undefined:8080"이 붙습니다.
- 상기 "undefined:8080"을 정규식으로 다시 정리하여 proxy 사용 접속했으나, "proxy 사용 인터넷 연결 안됨" 메시지가 뜨는데요, 어떻게 해결하는 방향이 있을까요?
2. node로 IE 크롤링은 불가한 걸까요? 회사 업무에서 IE로만 접속 가능한 사이트를 대상으로 실습해 보려는데 node로는 안되는것 같아서요
3. 특정 사이트 (http://www.courtauction.go.kr/)은 postman으로 요청날리고 preview를 해도 텅비어 나타납니다. 이런경우 크롤링 방법이 없는지요?
이상입니다.
답변 3
0
1. proxy ip를 추출하신 것 같은데 proxy가 무조건 동작하는 것은 아닙니다. 다양한 주소를 시도해보셔야 합니다.
2. IE는 크롤링할 수 없어서 그 경우에는 selenium같은 다른 프로그램을 사용하셔야 합니다.
3. 지금 확인해보니 frameset 안에 들어있는 것 같습니다. waitForSelector로 frameset을 기다린 후 그 안에 들어가서 하시면 될 것 같습니다. frame 안에 들어가는 방법은 이 강좌 마지막 iframe 접속하기와 같습니다.
headless 궁금한게 있어요!
0
413
2
6강 프록시 서버 테스트 관련하여
0
338
2
페이스북 로그인 로그아웃 자동화관련
0
276
2
3-2 axios로 이미지 저장하기에서 axios 관련 오류..
0
269
2
3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문
0
250
3
2-4 csv 출력하기에서 오류 발생
0
294
3
try-puppeteer.appspot.com 을 사용할 수 없나요?
0
151
1
크롬 확장프로그램 관련 질문드립니다.
0
169
1
크롤링 자바스크립트 exe파일
0
554
1
puppeteer 관련
0
598
2
6-3 proxy-database 관련
1
287
1
크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?
0
793
1
네이버 영화 평점 크롤링 (axis cheerio)
1
488
1
아래 noscript 내용입니다.
0
528
1
크롤링
0
375
1
앱 크롤링
0
1783
1
페이스북 로그인
0
544
1
2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error
1
461
1
안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!
0
440
2
대량 요청 처리 방법
0
463
1
구글 패스워드 자동입력시 오류
0
249
1
반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요
0
364
2
인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?
0
300
1
페이스북 로그인시 돔이 생성 안되는 문제
0
309
1