• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

대량 요청 처리 방법

23.01.16 16:42 작성 조회수 212

0

내 서버의 API로 많은 사람이 동시에 요청을 하는 경우에 어떻게 처리해야 할까요?? 여러사람이 한꺼번에 요청하면 서버에서도 특정 웹서버로 한꺼번에 크롤링 요청이 가면 IP가 차단될 수 있을것 같아서요.

  1. axios (or fetch, request)로 크롤링 했을때 한꺼번에 요청하면 IP가 차단됨.

  2. puppeteer로 크롤링 했을때 한꺼번에 요청하게 되면 앞에 puppeteer가 완료된 후 진행되는지..

답변 1

답변을 작성해보세요.

0

rate limiter 같은 툴을 사용해서 특정 사용자가 여러 번 요청하는 것을 막는 게 먼저 필요할 것 같고, queue를 사용해서 크롤링 작업들을 큐에 쌓아놓고 앞에 것이 끝나고나서야 뒤엣 것이 실행되도록 만들어야 할 것 같습니다.