robots.txt

안녕하세요.

코딩을 가장 쉽게 알려주는 크리에이터, 스타트코딩입니다. 😀

1. robots.txt 에 배제된 페이지 크롤링 하는것 만들어서 데이터를 가져와도 되는건가요??

-> 네, 권고사항이므로 꼭 지켜야 하는 의무는 아닙니다. 

2. 데이터를 모두가 볼수있는 곳에 업로드하지 않으면 문제가 되지 않는건가요??

-> 상업적으로 서비스를 하지 않는다면 큰 문제는 없을 거라고 판단됩니다. 

3. 주기적 크롤링이 아닌 일회성의 크롤링은 허용이 되는건가요??

-> 주기적으로 크롤링을 해도 된다고 생각합니다. 만약 과도하다 싶으면 서버측에서 (자동/수동) 제한을 합니다. 

4. robots.txt 배제된 크롤링 외주가 있으면 그건 하면 안되는건가요??

-> 1번에서 답했습니다.

감사합니다.

- 스타트코딩 드림.