userAgent 질문입니다.
325
작성한 질문수 0
답변 1
0
puppeteer의 userAgent로 막는다는 말씀이 무슨 말씀이신가요? 뭘 막는다는 말씀이신가요?
요즘은 보안이 강해져서 userAgent를 설정해도 페이지가 잘 안 뚤립니다.
0
제가 말을애매하게 했군요. 크롤링을 막기위해 userAgent 정보로 막는다고해서 저는 서비스 하는 페이지들에서 string 패턴매칭으로 막는다고 생각했었습니다. 근데 puppeteer 의 에이전트와 제 브라우저의 에이전트가 크게 다르지 않은거같아서 질문드렸습니다.
blocking crawler by userAgent 로 검색해서 찾아보니
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
구글크롤러는 robot 이라는 정보가 userAgent 에 들어가있는데 예제에서 봤을떄는 일반브라우저랑 차이가 없는거같아서 혹시 string 패턴매칭으로 막는게 아닌가요??
headless 궁금한게 있어요!
0
495
2
6강 프록시 서버 테스트 관련하여
0
352
2
페이스북 로그인 로그아웃 자동화관련
0
291
2
3-2 axios로 이미지 저장하기에서 axios 관련 오류..
0
282
2
3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문
0
263
3
2-4 csv 출력하기에서 오류 발생
0
306
3
try-puppeteer.appspot.com 을 사용할 수 없나요?
0
157
1
크롬 확장프로그램 관련 질문드립니다.
0
172
1
크롤링 자바스크립트 exe파일
0
563
1
puppeteer 관련
0
606
2
6-3 proxy-database 관련
1
292
1
크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?
0
800
1
네이버 영화 평점 크롤링 (axis cheerio)
1
495
1
아래 noscript 내용입니다.
0
531
1
크롤링
0
381
1
앱 크롤링
0
1788
1
페이스북 로그인
0
547
1
2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error
1
465
1
안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!
0
451
2
대량 요청 처리 방법
0
470
1
구글 패스워드 자동입력시 오류
0
256
1
반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요
0
372
2
인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?
0
306
1
페이스북 로그인시 돔이 생성 안되는 문제
0
317
1