안녕하세요.

go로 크롤링을 하고 있는데 특정사이트에서만 데이터를 제대로 못긁어 오는거 같은데 왜 그럴까요?
데이터는 url방식으로 보내고&nbsp; url에다가 query를 담아서 보냅니다.(get요청 다른사이트와 똑같은 url형식을 지내고 있어 똑같이 시도를 해봤는데 잘 안됩니다. 구글링을 해보니 헤더에 뭔가 심어서 보내라고 하는것 같기도 한데 잘모르겠네요)
혹시 이런 경험을 하신적 있으신가요&gt;

크롬 개발자 도구 네트워크 탭에서 확인하실 수 있어요

혹시 그 해당서버에서 어떤것을 원하는지는 어떻게 알아낼까요?

네 안녕하세요.
해당 헤더에 서버에서 요구하는 정확한 Value를 담아야 데이터를 response 해주는 방식을 많이 사용합니다.
원 요청 정보를 확인하셔서 필요로 하는 정보(예를 들어 refferer 등등을 payload 해주셔야 합니다.)

인프런 커뮤니티 질문&답변

질문