작성
·
526
1
안녕하세요 네이버 쇼핑은 robots.txt파일에
User-agent: *
Disallow: /
User-agent: Yeti
Disallow: /v1
Disallow: /my
Disallow: /cart
Allow: /
로 되어있는데 크롤링 하는것 만들어서 데이터를 가져와도 되는건가요??
데이터를 모두가 볼수있는 곳에 업로드하지 않으면 문제가 되지 않는건가요??
아니면 주기적 크롤링이 아닌 일회성의 크롤링은 허용이 되는건가요??
강의용으로 크롤링을 하신거라면 실제로 네이버쇼핑 크롤링 프로그램을 만들어달라는 외주가 있으면 그건 하면 안되는건가요??
답변 1
1
안녕하세요.
코딩을 가장 쉽게 알려주는 크리에이터, 스타트코딩입니다. 😀
1. robots.txt 에 배제된 페이지 크롤링 하는것 만들어서 데이터를 가져와도 되는건가요??
-> 네, 권고사항이므로 꼭 지켜야 하는 의무는 아닙니다.
2. 데이터를 모두가 볼수있는 곳에 업로드하지 않으면 문제가 되지 않는건가요??
-> 상업적으로 서비스를 하지 않는다면 큰 문제는 없을 거라고 판단됩니다.
3. 주기적 크롤링이 아닌 일회성의 크롤링은 허용이 되는건가요??
-> 주기적으로 크롤링을 해도 된다고 생각합니다. 만약 과도하다 싶으면 서버측에서 (자동/수동) 제한을 합니다.
4. robots.txt 배제된 크롤링 외주가 있으면 그건 하면 안되는건가요??
-> 1번에서 답했습니다.
감사합니다.
- 스타트코딩 드림.