크롤링 순차적으로 하는방법.
258
작성한 질문수 4
지난번에 친절히 답변해주시고 좋은강의 해주셔서 크롤링을 아주 손쉽게 끝냈습니다.
이번에 DB에서 ID 값을 가지고 와서 크롤링을 돌리는 것을 하고 있습니다.
그런데 실행하니 총 179개의 id 값을 한번에 불러와서 크롬을 수십개 켜면서 작업을 하더라구요..
물론 노트북이 버벅이고 메모리 에러가 발생해서 타임아웃으로 꺼졌지만..
그래서 강의 부분중에 promiseall 이랑 for of 에 대해 다시 보았는데 이해가 잘 안되서요
결국 이걸 순차적으로 1부터 179까지 실행하려면 for of 를 쓰는건데 async await과 어떻게 연계해야 할지 조언 부탁드립니다.
단순히 강의 내용대로 쓰고 구글링해서 쓰니 for of 자체는 내부의 값을 차례대로 불러오기만 하더라구요
간단히 작성해보면 for( const value of cust_id) { crawler(value); } 이렇게 했는데 아마도 crawler이라는 함수가 끝나면 다음것을 해야할 것 같은데 어떤식으로 해결해야 할까요 ?
답변 3
0
crawler 함수가 promise라면 await crawler(value) 하시면 됩니다. 참고로 프로미스 반복의 경우 for await of문도 있어서 코드를 더 단축시킬 수 있습니다.
headless 궁금한게 있어요!
0
507
2
6강 프록시 서버 테스트 관련하여
0
354
2
페이스북 로그인 로그아웃 자동화관련
0
317
2
3-2 axios로 이미지 저장하기에서 axios 관련 오류..
0
283
2
3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문
0
263
3
2-4 csv 출력하기에서 오류 발생
0
309
3
try-puppeteer.appspot.com 을 사용할 수 없나요?
0
158
1
크롬 확장프로그램 관련 질문드립니다.
0
175
1
크롤링 자바스크립트 exe파일
0
564
1
puppeteer 관련
0
608
2
6-3 proxy-database 관련
1
294
1
크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?
0
801
1
네이버 영화 평점 크롤링 (axis cheerio)
1
496
1
아래 noscript 내용입니다.
0
531
1
크롤링
0
381
1
앱 크롤링
0
1788
1
페이스북 로그인
0
548
1
2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error
1
465
1
안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!
0
452
2
대량 요청 처리 방법
0
473
1
구글 패스워드 자동입력시 오류
0
258
1
반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요
0
375
2
인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?
0
308
1
페이스북 로그인시 돔이 생성 안되는 문제
0
319
1