인프런 커뮤니티 질문&답변

안녕하세요 musful 님!! 좋은 질문주셔서 감사합니다.

robots.txt는 법적 강제력이 없습니다. 단순한 "권고사항"에 가깝죠. 하지만 이걸 무시하면 실제로 법적 문제가 생길 수 있습니다. 한국에서는 주로 두 가지 법으로 문제가 됩니다:

정보통신망법 위반: "기술적 보호조치를 무력화"한 경우 처벌 대상입니다. robots.txt 자체는 기술적 보호조치가 아니지만, 이를 무시하고 과도하게 크롤링하면 서비스 방해로 볼 수 있습니다.

저작권법/부정경쟁방지법: 크롤링한 데이터를 상업적으로 사용하면 문제가 됩니다. 특히 경쟁사 데이터를 긁어서 자기 서비스에 쓰는 경우 실제로 소송 사례가 있습니다.

실제 사례

2019년 링크드인 vs hiQ 소송: 링크드인이 robots.txt로 크롤링 금지했지만, hiQ는 무시하고 데이터 수집을 계속했습니다. 1심에서는 hiQ가 이겼지만, 이후 항소심에서 뒤집혔고 결국 합의로 끝났습니다. 소송 비용만 수십억 원이었습니다

2021년 국내 부동산 중개 사이트: 경쟁사 매물 정보를 크롤링해서 자기 사이트에 올렸다가 법원에서 영업방해로 인정되어 손해배상 판결이 나왔습니다.

사실 개인 개발자가 크롤링하는 정도로는 엄청나게 큰 문제가 발생하지는 않지만, 회사 단위로 더 커지는 상황이 나오면 충분히 문제가 될 수 있을 것 같습니다 참고 부탁드립니다!