inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Node.js로 웹 크롤링하기

6-2. 프록시 ip 적용하기

오류로 크롤링이 안되서 proxies 리턴이 안되는 현상

366

김형

작성한 질문수 32

0

 

const puppeteer = require('puppeteer')

const dotenv = require('dotenv')

const {config} = require("dotenv");

dotenv.config()

const crawler = async () => {

try {

const browser = await puppeteer.launch({ headless: false, args: ['--window-size=1920, 1080'] })

const page = await browser.newPage()

await page.setViewport({

width: 1080,

height: 1080,

})

await page.goto('http://spys.one/free-proxy-list/KR/')

const proxies = await page.evaluate(() => {

const ips = Array.from(document.querySelector('tr > td:first-of-type > .spy14')).map((v) => v.textContent)

const types = Array.from(document.querySelector('tr > td:nth-of-type(2)')).map((v) => v.textContent)

const latencies = Array.from(document.querySelector('tr > td:nth-of-type(6) > .spy1')).map((v) => v.textContent)

return ips.map((v, i) => {

return {

ip: v,

type: types[i],

latency: latencies[i],

}

})

})

console.log(proxies)

} catch (err) {

console.error(err)

}}

crawler()

 


위 코드를 실행하면 프록시 사이트 들어가자마자 크로미움 브라우저가 갑자기 닫히면서

Error: Navigation failed because browser has disconnected!


위 와같은 에러메시지를 유발합니다.

코드가 똑같은데도 왜이런걸까요? ㅠ

ㄷㄱㄱ.png

javascript puppeteer 웹-크롤링 nodejs

답변 1

0

김형

크로니움 문제 였습니다. 컴퓨터에 맞는 크로니움 설치로 해결 완료

headless 궁금한게 있어요!

0

422

2

6강 프록시 서버 테스트 관련하여

0

342

2

페이스북 로그인 로그아웃 자동화관련

0

278

2

3-2 axios로 이미지 저장하기에서 axios 관련 오류..

0

269

2

3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문

0

250

3

2-4 csv 출력하기에서 오류 발생

0

294

3

try-puppeteer.appspot.com 을 사용할 수 없나요?

0

151

1

크롬 확장프로그램 관련 질문드립니다.

0

170

1

크롤링 자바스크립트 exe파일

0

557

1

puppeteer 관련

0

599

2

6-3 proxy-database 관련

1

288

1

크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?

0

794

1

네이버 영화 평점 크롤링 (axis cheerio)

1

491

1

아래 noscript 내용입니다.

0

528

1

크롤링

0

378

1

앱 크롤링

0

1785

1

페이스북 로그인

0

544

1

2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error

1

461

1

안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!

0

441

2

대량 요청 처리 방법

0

466

1

구글 패스워드 자동입력시 오류

0

252

1

반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요

0

367

2

인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?

0

302

1

페이스북 로그인시 돔이 생성 안되는 문제

0

311

1