크롤러 요청 제한
289
작성한 질문수 9
안녕하세요 제로초님,
puppteer에서 이미지 캡쳐를 요청 하면 새로운 페이지를 만들고 캡쳐후 close 하게끔 간단한 과정을 만들었습니다.
한 3~5개는 괜찮은데, 10개의 page를 한번에 캡쳐하려니, 브라우저 페이지가 먹통이 됩니다.
그래서 요청에 제한을 두려하는데 어떤 키워드로 찾아야 할지 모르겠어요..
HTTP Server 는 graphql-yoga(express) 를 붙혔고
요청이 5개 이상일때는 대기하라 라고 명하고 싶은데.
관련된 미들웨어 혹은 키워드가 있을까요?
답변 1
0
혹시 매 요청마다 퍼페티어 브라우저를 새로 launch하시나요? 브라우저 하나하나가 메모리를 엄청 먹습니다. 브라우저는 하나 launch하고 요청이 올 때 페이지만 하나씩 newPage 하는게 더 나으실 것 같습니다.
queue가 필요하시다면 https://github.com/sindresorhus/p-queue
위 모듈도 괜찮습니다.
headless 궁금한게 있어요!
0
413
2
6강 프록시 서버 테스트 관련하여
0
337
2
페이스북 로그인 로그아웃 자동화관련
0
276
2
3-2 axios로 이미지 저장하기에서 axios 관련 오류..
0
269
2
3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문
0
250
3
2-4 csv 출력하기에서 오류 발생
0
294
3
try-puppeteer.appspot.com 을 사용할 수 없나요?
0
151
1
크롬 확장프로그램 관련 질문드립니다.
0
169
1
크롤링 자바스크립트 exe파일
0
554
1
puppeteer 관련
0
598
2
6-3 proxy-database 관련
1
287
1
크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?
0
793
1
네이버 영화 평점 크롤링 (axis cheerio)
1
488
1
아래 noscript 내용입니다.
0
528
1
크롤링
0
375
1
앱 크롤링
0
1783
1
페이스북 로그인
0
544
1
2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error
1
461
1
안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!
0
440
2
대량 요청 처리 방법
0
463
1
구글 패스워드 자동입력시 오류
0
249
1
반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요
0
363
2
인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?
0
300
1
페이스북 로그인시 돔이 생성 안되는 문제
0
308
1