인프런 커뮤니티 질문&답변
작성자 없음
작성자 정보가 삭제된 글입니다.
쿠팡 사례처럼 다른 사이트에서 User-Agent로 크롤링이 불가능한 경우
작성
·
658
·
수정됨
0
감사합니다.
답변 1
0
스타트코딩
지식공유자
결론부터 말씀드리면,
header를 작성하는 규칙이 따로 정해져 있지는 않습니다 ㅎㅎ
서버 개발자 입장에서 생각해보면, 규칙이 정해져 있어서
데이터를 Bot들에게 편하게 주면 문제가 생길 수 있겠죠?
개발자 도구에서 Request Header 부분을 참고해서
header를 추가해 주시면 됩니다.
규칙은 없지만, 보통 탐지하는 옵션들은 정해져 있어요.
User-Agent
Referer
Accept 종류
Autorization 종류
보통 위 4가지를 넣어 주시면 대부분 해결 됩니다.
강의 커리큘럼에서
requests 실력 업그레이드 (get 요청)
requests 실력 업그레이드 (post 요청) 부분을 꼭 학습해 보세요!!