• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

크롤러 요청 제한

20.06.07 11:49 작성 조회수 118

0

안녕하세요 제로초님, 

puppteer에서 이미지 캡쳐를 요청 하면 새로운 페이지를 만들고 캡쳐후 close 하게끔 간단한 과정을 만들었습니다.

한 3~5개는 괜찮은데, 10개의 page를 한번에 캡쳐하려니, 브라우저 페이지가 먹통이 됩니다. 

그래서 요청에 제한을 두려하는데 어떤 키워드로 찾아야 할지 모르겠어요.. 

HTTP Server 는 graphql-yoga(express) 를 붙혔고

요청이 5개 이상일때는 대기하라 라고 명하고 싶은데. 

관련된 미들웨어 혹은 키워드가 있을까요? 

답변 1

답변을 작성해보세요.

0

혹시 매 요청마다 퍼페티어 브라우저를 새로 launch하시나요? 브라우저 하나하나가 메모리를 엄청 먹습니다. 브라우저는 하나 launch하고 요청이 올 때 페이지만 하나씩 newPage 하는게 더 나으실 것 같습니다.

queue가 필요하시다면 https://github.com/sindresorhus/p-queue

위 모듈도 괜찮습니다.