-
카테고리
-
세부 분야
데이터 수집 · 처리
-
해결 여부
미해결
오류로 크롤링이 안되서 proxies 리턴이 안되는 현상
23.01.03 22:21 작성 23.01.03 22:29 수정 조회수 116
0
const puppeteer = require('puppeteer')
const dotenv = require('dotenv')
const {config} = require("dotenv");
dotenv.config()
const crawler = async () => {
try {
const browser = await puppeteer.launch({ headless: false, args: ['--window-size=1920, 1080'] })
const page = await browser.newPage()
await page.setViewport({
width: 1080,
height: 1080,
})
await page.goto('http://spys.one/free-proxy-list/KR/')
const proxies = await page.evaluate(() => {
const ips = Array.from(document.querySelector('tr > td:first-of-type > .spy14')).map((v) => v.textContent)
const types = Array.from(document.querySelector('tr > td:nth-of-type(2)')).map((v) => v.textContent)
const latencies = Array.from(document.querySelector('tr > td:nth-of-type(6) > .spy1')).map((v) => v.textContent)
return ips.map((v, i) => {
return {
ip: v,
type: types[i],
latency: latencies[i],
}
})
})
console.log(proxies)
} catch (err) {
console.error(err)
}}
crawler()
위 코드를 실행하면 프록시 사이트 들어가자마자 크로미움 브라우저가 갑자기 닫히면서
Error: Navigation failed because browser has disconnected!
위 와같은 에러메시지를 유발합니다.
코드가 똑같은데도 왜이런걸까요? ㅠ
답변을 작성해보세요.
0
답변 1