크롤링 관련 질문
2주차 크롤링 관련
robots.txt에 적힌 규칙은 법적 강제력이 있나요? 지키지 않으면 어떤 문제가 생길 수 있나요?
回答 1
0
안녕하세요 musful 님!! 좋은 질문주셔서 감사합니다.
robots.txt는 법적 강제력이 없습니다. 단순한 "권고사항"에 가깝죠. 하지만 이걸 무시하면 실제로 법적 문제가 생길 수 있습니다. 한국에서는 주로 두 가지 법으로 문제가 됩니다:
정보통신망법 위반: "기술적 보호조치를 무력화"한 경우 처벌 대상입니다. robots.txt 자체는 기술적 보호조치가 아니지만, 이를 무시하고 과도하게 크롤링하면 서비스 방해로 볼 수 있습니다.
저작권법/부정경쟁방지법: 크롤링한 데이터를 상업적으로 사용하면 문제가 됩니다. 특히 경쟁사 데이터를 긁어서 자기 서비스에 쓰는 경우 실제로 소송 사례가 있습니다.
실제 사례
2019년 링크드인 vs hiQ 소송: 링크드인이 robots.txt로 크롤링 금지했지만, hiQ는 무시하고 데이터 수집을 계속했습니다. 1심에서는 hiQ가 이겼지만, 이후 항소심에서 뒤집혔고 결국 합의로 끝났습니다. 소송 비용만 수십억 원이었습니다
2021년 국내 부동산 중개 사이트: 경쟁사 매물 정보를 크롤링해서 자기 사이트에 올렸다가 법원에서 영업방해로 인정되어 손해배상 판결이 나왔습니다.
사실 개인 개발자가 크롤링하는 정도로는 엄청나게 큰 문제가 발생하지는 않지만, 회사 단위로 더 커지는 상황이 나오면 충분히 문제가 될 수 있을 것 같습니다 참고 부탁드립니다!
OAuth방식 강의 문의
0
7
0
클로드코드 유료플랜 할인 방법이 있을까요?
0
14
0
2026.04에 추가된 강의 시청 불가
0
27
1
프롬프트, 스킬, sub-agent
0
31
1
스타터패키지 받을 수 있는 기회가 있을까요?
0
42
2
1-7 강의 PreToolUse 동작 안함
0
39
2
업데이트 관련 문의입니다.
0
77
4
지능형 컨텍스트 주입 관련 실습 질문
0
72
2
딩코님 유튜브 보다가 처음 결제했어요 포항공대 출신이라 믿고 결제했어요
0
75
2
1-4 서울이미지 다운시 에러
0
77
1
AI 개발 도구 사용 시 보안 가이드 및 내부 기준에 대한 질문
0
120
2
# 메모리 기능이 없네요..
2
121
2
혹시 업데이트 관련 추가사항들도 있을까요
0
105
2
1-8. Dispatcher에 멘토 규칙 추가
0
90
2
3-1 github action 연동시 질문 드립니다
0
194
2
1-7 강의 PreToolUse부분 관련 질문입니다
1
144
3
1-7 hooks 강의에서 질문 있습니다.
0
132
3
1-6 강의내용중에 질문이 있습니다.
0
105
2
Dispatcher Pattern PreToolUse 작동이 안하는 경우 당면
0
128
3
claude에 hook 적용안되는 문제
0
170
3
8.1-6강의 수강중 init에 대한 질문입니다.
0
89
2
hooks에서 commit 제한은 좀 힘들까요?
0
131
3
context 압축 방식과 관련하여 강사님의 의견이 궁금합니다.
0
155
1
차후에 추가 업데이트 같은 것이 있을까요?
0
122
2