inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Node.js로 웹 크롤링하기

쿠팡 크롤링

399

프랭크

작성한 질문수 1

0

강의와 관련있는 질문을 남겨주세요.
• 강의와 관련이 없는 질문은 지식공유자가 답변하지 않을 수 있습니다. (사적 상담, 컨설팅, 과제 풀이 등)
• 질문을 남기기 전, 비슷한 내용을 질문한 수강생이 있는지 먼저 검색을 해주세요. (중복 질문을 자제해주세요.)
• 서비스 운영 관련 질문은 인프런 우측 하단 ‘문의하기’를 이용해주세요. (영상 재생 문제, 사이트 버그, 강의 환불 등)

질문 전달에도 요령이 필요합니다.
• 지식공유자가 질문을 좀 더 쉽게 확인할 수 있게 도와주세요.
• 강의실 페이지(/lecture) 에서 '질문하기'를 이용해주시면 질문과 연관된 수업 영상 제목이 함께 등록됩니다.
• 강의 대시보드에서 질문을 남길 경우, 관련 섹션 및 수업 제목을 기재해주세요. 
• 수업 특정 구간에 대한 질문은 꼭 영상 타임코드를 남겨주세요!

구체적인 질문일수록 명확한 답을 받을 수 있어요.
• 질문 제목은 핵심 키워드를 포함해 간결하게 적어주세요.
• 질문 내용은 자세하게 적어주시되, 지식공유자가 답변할 수 있도록 구체적으로 남겨주세요.
• 정확한 질문 내용과 함께 코드를 적어주시거나, 캡쳐 이미지를 첨부하면 더욱 좋습니다.

기본적인 예의를 지켜주세요.
• 정중한 의견 및 문의 제시, 감사 인사 등의 커뮤니케이션은 더 나은 강의를 위한 기틀이 됩니다. 
• 질문이 있을 때에는 강의를 만든 지식공유자에 대한 기본적인 예의를 꼭 지켜주세요. 
• 반말, 욕설, 과격한 표현 등 지식공유자를 불쾌하게 할 수 있는 내용은 스팸 처리 등 제재를 가할 수 있습니다. 

안녕하세요! 

쿠팡의 경우 puppeteer로 될 때도 있고 안 될 때도 있던 것 같더라구요. 아마 블로그에서 언급하신 rate-limit에 걸린 것 같기도 한데, 혹시 우회법을 찾으셨을까요? 혹은 rate-limit에 걸리지 않으려면 어느 시점에 딜레이를 주거나 하면 좋을까요?

감사합니다.

puppeteer 웹-크롤링 nodejs javascript

답변 1

0

제로초(조현영)

요청을 30초에 한 번 20초에 한 번 이런 식으로 줄여가면서 테스트해보시는 게 좋습니다. 아이피 여러개를 활용하는것도 방법입니다.

headless 궁금한게 있어요!

0

705

2

6강 프록시 서버 테스트 관련하여

0

460

2

페이스북 로그인 로그아웃 자동화관련

0

387

2

3-2 axios로 이미지 저장하기에서 axios 관련 오류..

0

347

2

3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문

0

337

3

2-4 csv 출력하기에서 오류 발생

0

368

3

try-puppeteer.appspot.com 을 사용할 수 없나요?

0

200

1

크롬 확장프로그램 관련 질문드립니다.

0

212

1

크롤링 자바스크립트 exe파일

0

603

1

puppeteer 관련

0

664

2

6-3 proxy-database 관련

1

325

1

크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?

0

850

1

네이버 영화 평점 크롤링 (axis cheerio)

1

546

1

아래 noscript 내용입니다.

0

569

1

크롤링

0

428

1

앱 크롤링

0

1844

1

페이스북 로그인

0

580

1

2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error

1

528

1

안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!

0

508

2

대량 요청 처리 방법

0

516

1

구글 패스워드 자동입력시 오류

0

304

1

반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요

0

419

2

인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?

0

344

1

페이스북 로그인시 돔이 생성 안되는 문제

0

368

1