인프런 커뮤니티 질문&답변
작성한 질문수
크롤러 요청 제한
작성
·
285
0
안녕하세요 제로초님,
puppteer에서 이미지 캡쳐를 요청 하면 새로운 페이지를 만들고 캡쳐후 close 하게끔 간단한 과정을 만들었습니다.
한 3~5개는 괜찮은데, 10개의 page를 한번에 캡쳐하려니, 브라우저 페이지가 먹통이 됩니다.
그래서 요청에 제한을 두려하는데 어떤 키워드로 찾아야 할지 모르겠어요..
HTTP Server 는 graphql-yoga(express) 를 붙혔고
요청이 5개 이상일때는 대기하라 라고 명하고 싶은데.
관련된 미들웨어 혹은 키워드가 있을까요?
답변 1
0
제로초(조현영)
지식공유자
혹시 매 요청마다 퍼페티어 브라우저를 새로 launch하시나요? 브라우저 하나하나가 메모리를 엄청 먹습니다. 브라우저는 하나 launch하고 요청이 올 때 페이지만 하나씩 newPage 하는게 더 나으실 것 같습니다.
queue가 필요하시다면 https://github.com/sindresorhus/p-queue
위 모듈도 괜찮습니다.