• 카테고리

    질문 & 답변

  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

순차적으로 5개페이지 한번에

20.05.03 13:15 작성 조회수 216

0

선생님 저도 이부분에서 막히네요

ㅜㅜ

for of 을 써서

순차적으로 엑셀의 링크를 불러와서 

크롤링하는데

한번에 5개씩 동시에 작업하고 싶어요

1,2,3,4,5 링크 쭉 가져와서 페이지 5개 한번에 열어서 크롤링하고 저장

6,7,8,9,10  링크 쭉 가져와서 페이지 한번에 열어서 크롤링 후 저장

promise all 을 써야되는걸 아는데 자세히 알수있을까요 ㅜㅜ

순차적으로 몇만개 크롤링하니까

시간이 너무걸리는것 같아서

동시에 처리하고싶어요

course-thumbnail

Node.js로 웹 크롤링하기

답변 1

답변을 작성해보세요.

0

조현영님의 프로필

조현영

지식공유자

2020.05.03

let i = 0;

for await (let results of Promise.all([crawlers[i](), crawlers[i + 1](), crawlers[i + 2](), crawlers[i + 3](), crawlers[i + 4]()]) {
  console.log(results);
  i += 5;
}

이 글과 비슷한 Q&A