질문

미해결질문
제로초짱? 프로필

안녕하세요.

go로 크롤링을 하고 있는데 특정사이트에서만 데이터를 제대로 못긁어 오는거 같은데 왜 그럴까요?

데이터는 url방식으로 보내고  url에다가 query를 담아서 보냅니다.(get요청 다른사이트와 똑같은 url형식을 지내고 있어 똑같이 시도를 해봤는데 잘 안됩니다. 구글링을 해보니 헤더에 뭔가 심어서 보내라고 하는것 같기도 한데 잘모르겠네요)

혹시 이런 경험을 하신적 있으신가요>

좋은사람 프로필
좋은사람 2달 전

네 안녕하세요.

해당 헤더에 서버에서 요구하는 정확한 Value를 담아야 데이터를 response 해주는 방식을 많이 사용합니다.

원 요청 정보를 확인하셔서 필요로 하는 정보(예를 들어 refferer 등등을 payload 해주셔야 합니다.)

제로초짱? 프로필
제로초짱? 2달 전

혹시 그 해당서버에서 어떤것을 원하는지는 어떻게 알아낼까요?

좋은사람 프로필
좋은사람 2달 전

크롬 개발자 도구 네트워크 탭에서 확인하실 수 있어요

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스