inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Node.js로 웹 크롤링하기

3-1. 이미지 다운로드 준비하기

이미지 크롤링 질문입니다.!

423

도도(코딩루팡)

작성한 질문수 9

0

https://try-puppeteer.appspot.com/

알려주신 위 사이트에서 이미지 없이 네이버 영화 사이트 접속했는데 무한루프가 도는겁니다.

네이버 영화 사이트측에서 다운로드 실패시 다시 되도록 자동설정해놔서그런건가요?

const browser = await puppeteer.launch();

  const page = await browser.newPage();

  await page.setRequestInterception(true);

  page.on('request', request => {

    if (request.resourceType() === 'image')

      request.abort();

    else

      request.continue();

  });

  await page.goto('https://movie.naver.com/movie/bi/mi/basic.nhn?code=189001');

  await page.screenshot({path: 'news.png', fullPage: true});

  await browser.close();

puppeteer 웹-크롤링 javascript nodejs

답변 2

0

도도(코딩루팡)

직접 돌려봤는데, 이미지가 로드가 안되니,

서버로 재요청이 계속 일어나더군요 .! 

프론트에서 일부로 그렇게 코딩 할 수 있나요?

어쨰서 이런 무한루프가 돌까요?

제가 돌려본 코드입니다.

 import pt from "puppeteer";

const start = async () => {
  const browser = await pt.launch({
    headless: false,
    args: ["--Window-size=1920,1080"]
  });
  const page = await browser.newPage();
  await page.setViewport({ width: 1920, height: 1080 });

  await page.setRequestInterception(true);
  page.on("request", request => {
    if (request.resourceType() === "image"request.abort();
    else request.continue();
  });

  await page.goto("https://movie.naver.com/movie/bi/mi/basic.nhn?code=72363");
  await page.waitFor(5000);
  await browser.close();
};

start();

0

제로초(조현영)

try-it 사이트보다는 직접 돌려서 에러가 나는지 확인하는 게 정확할 것 같습니다.

headless 궁금한게 있어요!

0

413

2

6강 프록시 서버 테스트 관련하여

0

338

2

페이스북 로그인 로그아웃 자동화관련

0

276

2

3-2 axios로 이미지 저장하기에서 axios 관련 오류..

0

269

2

3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문

0

250

3

2-4 csv 출력하기에서 오류 발생

0

294

3

try-puppeteer.appspot.com 을 사용할 수 없나요?

0

151

1

크롬 확장프로그램 관련 질문드립니다.

0

169

1

크롤링 자바스크립트 exe파일

0

554

1

puppeteer 관련

0

598

2

6-3 proxy-database 관련

1

287

1

크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?

0

793

1

네이버 영화 평점 크롤링 (axis cheerio)

1

488

1

아래 noscript 내용입니다.

0

528

1

크롤링

0

375

1

앱 크롤링

0

1783

1

페이스북 로그인

0

544

1

2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error

1

461

1

안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!

0

440

2

대량 요청 처리 방법

0

463

1

구글 패스워드 자동입력시 오류

0

249

1

반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요

0

363

2

인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?

0

300

1

페이스북 로그인시 돔이 생성 안되는 문제

0

309

1