실전 크롤링과 강력한 크롤링 기술 팁2: 네이버 사이트 크롤링 강의중 질문이 있습니다.

네이버측에서 크롤러들을 막기 위해서 해더값을 체크하기 때문에 일반 브라우져 처럼 요청하기 위해 해더값을 설정하는 것 같네요