강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

Choi Boo님의 프로필 이미지
Choi Boo

작성한 질문수

Node.js로 웹 크롤링하기

아마존 크롤링 로봇 검사

작성

·

354

0

처음 수강할 때는 아마존에서 크롤링할 때 이미지 캡차가 안 떴었는데

지금 19.11월 25일 기준으로는 뜨네요..

해결방법이 있나요?

답변 2

0

Choi Boo님의 프로필 이미지
Choi Boo
질문자

퍼페티어로 막았나보네요 ㅜㅜ

0

제로초(조현영)님의 프로필 이미지
제로초(조현영)
지식공유자

이게 상당히 어렵습니다. 아마존이 뭘 기준으로 퍼페티어인지 실 사용자인기 구분하는지를 파악해야하는데요.

대표적으로는 userAgent가 있습니다.

https://stackoverflow.com/questions/55678095/bypassing-captchas-with-headless-chrome-using-puppeteer

다만 이게 대표적이기 때문에 아마존이 이것에 대해 바꾸는 것에 대한 대비를 했을 수도 있습니다.

Choi Boo님의 프로필 이미지
Choi Boo

작성한 질문수

질문하기