대량 요청 처리 방법
467
1 asked
내 서버의 API로 많은 사람이 동시에 요청을 하는 경우에 어떻게 처리해야 할까요?? 여러사람이 한꺼번에 요청하면 서버에서도 특정 웹서버로 한꺼번에 크롤링 요청이 가면 IP가 차단될 수 있을것 같아서요.
axios (or fetch, request)로 크롤링 했을때 한꺼번에 요청하면 IP가 차단됨.
puppeteer로 크롤링 했을때 한꺼번에 요청하게 되면 앞에 puppeteer가 완료된 후 진행되는지..
Answer 1
0
rate limiter 같은 툴을 사용해서 특정 사용자가 여러 번 요청하는 것을 막는 게 먼저 필요할 것 같고, queue를 사용해서 크롤링 작업들을 큐에 쌓아놓고 앞에 것이 끝나고나서야 뒤엣 것이 실행되도록 만들어야 할 것 같습니다.
headless 궁금한게 있어요!
0
432
2
6강 프록시 서버 테스트 관련하여
0
344
2
페이스북 로그인 로그아웃 자동화관련
0
282
2
3-2 axios로 이미지 저장하기에서 axios 관련 오류..
0
275
2
3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문
0
256
3
2-4 csv 출력하기에서 오류 발생
0
295
3
try-puppeteer.appspot.com 을 사용할 수 없나요?
0
152
1
크롬 확장프로그램 관련 질문드립니다.
0
171
1
크롤링 자바스크립트 exe파일
0
560
1
puppeteer 관련
0
601
2
6-3 proxy-database 관련
1
290
1
크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?
0
795
1
네이버 영화 평점 크롤링 (axis cheerio)
1
493
1
아래 noscript 내용입니다.
0
529
1
크롤링
0
378
1
앱 크롤링
0
1787
1
페이스북 로그인
0
545
1
2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error
1
463
1
안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!
0
443
2
구글 패스워드 자동입력시 오류
0
254
1
반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요
0
370
2
인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?
0
305
1
페이스북 로그인시 돔이 생성 안되는 문제
0
315
1
hyperfreed_story_id 사용불가라 태그가 많이 바뀌어서
0
348
1