• 카테고리

    질문 & 답변
  • 세부 분야

    프로그래밍 언어

  • 해결 여부

    미해결

질문

20.11.02 22:27 작성 조회수 111

0

안녕하세요.

go로 크롤링을 하고 있는데 특정사이트에서만 데이터를 제대로 못긁어 오는거 같은데 왜 그럴까요?

데이터는 url방식으로 보내고  url에다가 query를 담아서 보냅니다.(get요청 다른사이트와 똑같은 url형식을 지내고 있어 똑같이 시도를 해봤는데 잘 안됩니다. 구글링을 해보니 헤더에 뭔가 심어서 보내라고 하는것 같기도 한데 잘모르겠네요)

혹시 이런 경험을 하신적 있으신가요>

답변 3

·

답변을 작성해보세요.

0

크롬 개발자 도구 네트워크 탭에서 확인하실 수 있어요

0

혹시 그 해당서버에서 어떤것을 원하는지는 어떻게 알아낼까요?

0

네 안녕하세요.

해당 헤더에 서버에서 요구하는 정확한 Value를 담아야 데이터를 response 해주는 방식을 많이 사용합니다.

원 요청 정보를 확인하셔서 필요로 하는 정보(예를 들어 refferer 등등을 payload 해주셔야 합니다.)