userAgent 질문입니다.

22.01.30 02:13 작성 조회수 173

안녕하세요 강의 잘듣고있습니다.

한가지궁금한게 fake userAgent 를위해서 본인의 브라우저에 있는 agent 를 setup 하면된다라고하셨는데,

테스트해보니 기본 page.evaluation('navigator.userAgent') 의 결과값이 아래와같습니다.

Puppeteer 의 default userAgent

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3723.0 Safari/537.36

제 브라우저의 userAgent

'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Mobile Safari/537.36'

위와 같이 나오긴합니다. 일반적인 브라우저와 별차이가 없는거같아 보이긴하는데... puppeteer 의 userAgent 로 userAgent 로 막는방법이있을까요??

Node.js로 웹 크롤링하기

2-6. userAgent와 한 탭으로 크롤링

강의실 바로가기

답변 1

답변을 작성해보세요.

조현영

2022.01.30

puppeteer의 userAgent로 막는다는 말씀이 무슨 말씀이신가요? 뭘 막는다는 말씀이신가요?

요즘은 보안이 강해져서 userAgent를 설정해도 페이지가 잘 안 뚤립니다.

포근포근한 갈매기

2022.01.30

제가 말을애매하게 했군요. 크롤링을 막기위해 userAgent 정보로 막는다고해서 저는 서비스 하는 페이지들에서 string 패턴매칭으로 막는다고 생각했었습니다. 근데 puppeteer 의 에이전트와 제 브라우저의 에이전트가 크게 다르지 않은거같아서 질문드렸습니다.

blocking crawler by userAgent 로 검색해서 찾아보니

https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers

구글크롤러는 robot 이라는 정보가 userAgent 에 들어가있는데 예제에서 봤을떄는 일반브라우저랑 차이가 없는거같아서 혹시 string 패턴매칭으로 막는게 아닌가요??