inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Node.js로 웹 크롤링하기

6-5. 브라우저 여러 개 사용하기

github에 올리신 9.proxy-database 코드 실행이 안됩니다.

330

이상욱

작성한 질문수 10

0

코드를 그대로 따라했는데, 페이지 로딩이 안되어서 어디가 문제인가 싶어 제로초님 코드로 실행해봤는데, 똑같은 문제가 발생했습니다. 

제로초님 코드를 실행한 console에는

Error: net::ERR_EMPTY_RESPONSE at https://search.naver.com/search.naver?sm=top_hty&fbm=1&ie=utf8&query=%EB%82%B4+%EC%95%84%EC%9D%B4%ED%94%BC
    at navigate (/Users/woogler/WebstormProjects/zerocho-crawler/nodejs-crawler/9.proxy-database/node_modules/puppeteer/lib/FrameManager.js:101:37)
    at processTicksAndRejections (internal/process/task_queues.js:93:5)
  -- ASYNC --
    at Frame.<anonymous> (/Users/woogler/WebstormProjects/zerocho-crawler/nodejs-crawler/9.proxy-database/node_modules/puppeteer/lib/helper.js:108:27)
    at Page.goto (/Users/woogler/WebstormProjects/zerocho-crawler/nodejs-crawler/9.proxy-database/node_modules/puppeteer/lib/Page.js:662:49)
    at Page.<anonymous> (/Users/woogler/WebstormProjects/zerocho-crawler/nodejs-crawler/9.proxy-database/node_modules/puppeteer/lib/helper.js:109:23)
    at crawler (/Users/woogler/WebstormProjects/zerocho-crawler/nodejs-crawler/9.proxy-database/index.js:62:17)
    at processTicksAndRejections (internal/process/task_queues.js:93:5)

이런 식으로 나옵니다. 

 페이지는 

이렇게 나오고요. 어디가 잘못된 건지 모르겠습니다. 네이버주소 잘못인 것 같아 다른 ip 확인 페이지인 https://ip.pe.kr/

로 들어 갔는데, 

이렇게 나오네요. drop table해서 다시 해도 이래서... 

어디가 문제인 지 모르겠습니다 ㅠㅠ

웹-크롤링 puppeteer javascript nodejs

답변 1

0

제로초(조현영)

프록시 부분은 이상한 프록시가 골라지면 사이트 접속이 안 될 수 있습니다. 프록시가 제대로 골라질 때까지 다시 해보셔야 합니다. 

headless 궁금한게 있어요!

0

413

2

6강 프록시 서버 테스트 관련하여

0

338

2

페이스북 로그인 로그아웃 자동화관련

0

276

2

3-2 axios로 이미지 저장하기에서 axios 관련 오류..

0

269

2

3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문

0

250

3

2-4 csv 출력하기에서 오류 발생

0

294

3

try-puppeteer.appspot.com 을 사용할 수 없나요?

0

151

1

크롬 확장프로그램 관련 질문드립니다.

0

169

1

크롤링 자바스크립트 exe파일

0

554

1

puppeteer 관련

0

598

2

6-3 proxy-database 관련

1

287

1

크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?

0

794

1

네이버 영화 평점 크롤링 (axis cheerio)

1

488

1

아래 noscript 내용입니다.

0

528

1

크롤링

0

375

1

앱 크롤링

0

1783

1

페이스북 로그인

0

544

1

2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error

1

461

1

안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!

0

440

2

대량 요청 처리 방법

0

463

1

구글 패스워드 자동입력시 오류

0

249

1

반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요

0

364

2

인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?

0

300

1

페이스북 로그인시 돔이 생성 안되는 문제

0

309

1