내 서버의 API로 많은 사람이 동시에 요청을 하는 경우에 어떻게 처리해야 할까요?? 여러사람이 한꺼번에 요청하면 서버에서도 특정 웹서버로 한꺼번에 크롤링 요청이 가면 IP가 차단될 수 있을것 같아서요.<ol><li>axios (or fetch, request)로 크롤링 했을때 한꺼번에 요청하면 IP가 차단됨.</li><li>puppeteer로 크롤링 했을때 한꺼번에 요청하게 되면 앞에 puppeteer가 완료된 후 진행되는지..</li></ol>

rate limiter 같은 툴을 사용해서 특정 사용자가 여러 번 요청하는 것을 막는 게 먼저 필요할 것 같고, queue를 사용해서 크롤링 작업들을 큐에 쌓아놓고 앞에 것이 끝나고나서야 뒤엣 것이 실행되도록 만들어야 할 것 같습니다.

인프런 커뮤니티 질문&답변

대량 요청 처리 방법