inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

텍스트를 포함하는 태그 찾기 (feat.정규표현식)

쿠팡 사례처럼 다른 사이트에서 User-Agent로 크롤링이 불가능한 경우

679

작성자 없음

작성한 질문수 0

0

감사합니다.

답변 1

0

스타트코딩

결론부터 말씀드리면,

header를 작성하는 규칙이 따로 정해져 있지는 않습니다 ㅎㅎ

 

서버 개발자 입장에서 생각해보면, 규칙이 정해져 있어서

데이터를 Bot들에게 편하게 주면 문제가 생길 수 있겠죠?

 

개발자 도구에서 Request Header 부분을 참고해서

header를 추가해 주시면 됩니다.

 

규칙은 없지만, 보통 탐지하는 옵션들은 정해져 있어요.

  1. User-Agent

  2. Referer

  3. Accept 종류

  4. Autorization 종류

보통 위 4가지를 넣어 주시면 대부분 해결 됩니다.

 

강의 커리큘럼에서

  • requests 실력 업그레이드 (get 요청)

  • requests 실력 업그레이드 (post 요청) 부분을 꼭 학습해 보세요!!

맥유저 입장의 고려해주세요

2

81

1

케이테스트 서버 운영 방법

2

52

1

수업 잘 들었습니다.

2

26

2

실행과정 질문입니다.

2

25

1