강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

kim rea님의 프로필 이미지
kim rea

작성한 질문수

Node.js로 웹 크롤링하기

순차적으로 5개페이지 한번에

작성

·

334

0

선생님 저도 이부분에서 막히네요

ㅜㅜ

for of 을 써서

순차적으로 엑셀의 링크를 불러와서 

크롤링하는데

한번에 5개씩 동시에 작업하고 싶어요

1,2,3,4,5 링크 쭉 가져와서 페이지 5개 한번에 열어서 크롤링하고 저장

6,7,8,9,10  링크 쭉 가져와서 페이지 한번에 열어서 크롤링 후 저장

promise all 을 써야되는걸 아는데 자세히 알수있을까요 ㅜㅜ

순차적으로 몇만개 크롤링하니까

시간이 너무걸리는것 같아서

동시에 처리하고싶어요

답변 1

0

제로초(조현영)님의 프로필 이미지
제로초(조현영)
지식공유자

let i = 0;

for await (let results of Promise.all([crawlers[i](), crawlers[i + 1](), crawlers[i + 2](), crawlers[i + 3](), crawlers[i + 4]()]) {
  console.log(results);
  i += 5;
}

kim rea님의 프로필 이미지
kim rea

작성한 질문수

질문하기