쿠팡 사례처럼 다른 사이트에서 User-Agent로 크롤링이 불가능한 경우

작성자 없음

0

결론부터 말씀드리면,

header를 작성하는 규칙이 따로 정해져 있지는 않습니다 ㅎㅎ

서버 개발자 입장에서 생각해보면, 규칙이 정해져 있어서

데이터를 Bot들에게 편하게 주면 문제가 생길 수 있겠죠?

개발자 도구에서 Request Header 부분을 참고해서

header를 추가해 주시면 됩니다.

규칙은 없지만, 보통 탐지하는 옵션들은 정해져 있어요.

1. User-Agent

2. Referer

3. Accept 종류

4. Autorization 종류

보통 위 4가지를 넣어 주시면 대부분 해결 됩니다.

강의 커리큘럼에서

• requests 실력 업그레이드 (get 요청)

• requests 실력 업그레이드 (post 요청) 부분을 꼭 학습해 보세요!!