• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

오류로 크롤링이 안되서 proxies 리턴이 안되는 현상

23.01.03 22:21 작성 23.01.03 22:29 수정 조회수 274

0

 

const puppeteer = require('puppeteer')

const dotenv = require('dotenv')

const {config} = require("dotenv");

dotenv.config()

const crawler = async () => {

try {

const browser = await puppeteer.launch({ headless: false, args: ['--window-size=1920, 1080'] })

const page = await browser.newPage()

await page.setViewport({

width: 1080,

height: 1080,

})

await page.goto('http://spys.one/free-proxy-list/KR/')

const proxies = await page.evaluate(() => {

const ips = Array.from(document.querySelector('tr > td:first-of-type > .spy14')).map((v) => v.textContent)

const types = Array.from(document.querySelector('tr > td:nth-of-type(2)')).map((v) => v.textContent)

const latencies = Array.from(document.querySelector('tr > td:nth-of-type(6) > .spy1')).map((v) => v.textContent)

return ips.map((v, i) => {

return {

ip: v,

type: types[i],

latency: latencies[i],

}

})

})

console.log(proxies)

} catch (err) {

console.error(err)

}}

crawler()

 


위 코드를 실행하면 프록시 사이트 들어가자마자 크로미움 브라우저가 갑자기 닫히면서

Error: Navigation failed because browser has disconnected!


위 와같은 에러메시지를 유발합니다.

코드가 똑같은데도 왜이런걸까요? ㅠ

ㄷㄱㄱ.png

답변 1

답변을 작성해보세요.

0

김형님의 프로필

김형

질문자

2023.01.04

크로니움 문제 였습니다. 컴퓨터에 맞는 크로니움 설치로 해결 완료