크롤링 관련 질문
2주차 크롤링 관련
robots.txt에 적힌 규칙은 법적 강제력이 있나요? 지키지 않으면 어떤 문제가 생길 수 있나요?
답변 1
0
안녕하세요 musful 님!! 좋은 질문주셔서 감사합니다.
robots.txt는 법적 강제력이 없습니다. 단순한 "권고사항"에 가깝죠. 하지만 이걸 무시하면 실제로 법적 문제가 생길 수 있습니다. 한국에서는 주로 두 가지 법으로 문제가 됩니다:
정보통신망법 위반: "기술적 보호조치를 무력화"한 경우 처벌 대상입니다. robots.txt 자체는 기술적 보호조치가 아니지만, 이를 무시하고 과도하게 크롤링하면 서비스 방해로 볼 수 있습니다.
저작권법/부정경쟁방지법: 크롤링한 데이터를 상업적으로 사용하면 문제가 됩니다. 특히 경쟁사 데이터를 긁어서 자기 서비스에 쓰는 경우 실제로 소송 사례가 있습니다.
실제 사례
2019년 링크드인 vs hiQ 소송: 링크드인이 robots.txt로 크롤링 금지했지만, hiQ는 무시하고 데이터 수집을 계속했습니다. 1심에서는 hiQ가 이겼지만, 이후 항소심에서 뒤집혔고 결국 합의로 끝났습니다. 소송 비용만 수십억 원이었습니다
2021년 국내 부동산 중개 사이트: 경쟁사 매물 정보를 크롤링해서 자기 사이트에 올렸다가 법원에서 영업방해로 인정되어 손해배상 판결이 나왔습니다.
사실 개인 개발자가 크롤링하는 정도로는 엄청나게 큰 문제가 발생하지는 않지만, 회사 단위로 더 커지는 상황이 나오면 충분히 문제가 될 수 있을 것 같습니다 참고 부탁드립니다!
백엔드, 프론트엔드 충돌 미리 방지 관련
0
58
1
settings.local.json에 어떻게 mcp 관련된 allow가 있나요?
0
46
2
'디스패처(Dispatcher)' 훅 패턴 적용이 다 안되
0
55
2
훅 내용 안뜸 오류
0
84
3
2026.04에 추가된 강의 시청 불가
0
74
1
프롬프트, 스킬, sub-agent
0
43
1
스타터패키지 받을 수 있는 기회가 있을까요?
0
67
2
1-7 강의 PreToolUse 동작 안함
0
72
3
업데이트 관련 문의입니다.
0
96
4
지능형 컨텍스트 주입 관련 실습 질문
0
92
2
딩코님 유튜브 보다가 처음 결제했어요 포항공대 출신이라 믿고 결제했어요
0
91
2
1-4 서울이미지 다운시 에러
0
88
1
AI 개발 도구 사용 시 보안 가이드 및 내부 기준에 대한 질문
0
156
2
# 메모리 기능이 없네요..
2
142
2
혹시 업데이트 관련 추가사항들도 있을까요
0
116
2
1-8. Dispatcher에 멘토 규칙 추가
0
94
2
3-1 github action 연동시 질문 드립니다
0
216
2
1-7 강의 PreToolUse부분 관련 질문입니다
1
163
3
1-7 hooks 강의에서 질문 있습니다.
0
145
3
1-6 강의내용중에 질문이 있습니다.
0
118
2
Dispatcher Pattern PreToolUse 작동이 안하는 경우 당면
0
140
3
claude에 hook 적용안되는 문제
0
198
3
8.1-6강의 수강중 init에 대한 질문입니다.
0
98
2
hooks에서 commit 제한은 좀 힘들까요?
0
139
3