오류로 크롤링이 안되서 proxies 리턴이 안되는 현상
366
작성한 질문수 32
const puppeteer = require('puppeteer')
const dotenv = require('dotenv')
const {config} = require("dotenv");
dotenv.config()
const crawler = async () => {
try {
const browser = await puppeteer.launch({ headless: false, args: ['--window-size=1920, 1080'] })
const page = await browser.newPage()
await page.setViewport({
width: 1080,
height: 1080,
})
await page.goto('http://spys.one/free-proxy-list/KR/')
const proxies = await page.evaluate(() => {
const ips = Array.from(document.querySelector('tr > td:first-of-type > .spy14')).map((v) => v.textContent)
const types = Array.from(document.querySelector('tr > td:nth-of-type(2)')).map((v) => v.textContent)
const latencies = Array.from(document.querySelector('tr > td:nth-of-type(6) > .spy1')).map((v) => v.textContent)
return ips.map((v, i) => {
return {
ip: v,
type: types[i],
latency: latencies[i],
}
})
})
console.log(proxies)
} catch (err) {
console.error(err)
}}
crawler()
위 코드를 실행하면 프록시 사이트 들어가자마자 크로미움 브라우저가 갑자기 닫히면서
Error: Navigation failed because browser has disconnected!
위 와같은 에러메시지를 유발합니다.
코드가 똑같은데도 왜이런걸까요? ㅠ

답변 1
headless 궁금한게 있어요!
0
422
2
6강 프록시 서버 테스트 관련하여
0
342
2
페이스북 로그인 로그아웃 자동화관련
0
278
2
3-2 axios로 이미지 저장하기에서 axios 관련 오류..
0
269
2
3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문
0
250
3
2-4 csv 출력하기에서 오류 발생
0
294
3
try-puppeteer.appspot.com 을 사용할 수 없나요?
0
151
1
크롬 확장프로그램 관련 질문드립니다.
0
170
1
크롤링 자바스크립트 exe파일
0
557
1
puppeteer 관련
0
599
2
6-3 proxy-database 관련
1
288
1
크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?
0
794
1
네이버 영화 평점 크롤링 (axis cheerio)
1
491
1
아래 noscript 내용입니다.
0
528
1
크롤링
0
378
1
앱 크롤링
0
1785
1
페이스북 로그인
0
544
1
2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error
1
461
1
안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!
0
441
2
대량 요청 처리 방법
0
466
1
구글 패스워드 자동입력시 오류
0
252
1
반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요
0
367
2
인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?
0
302
1
페이스북 로그인시 돔이 생성 안되는 문제
0
311
1





