• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

robots.txt의 disallow

19.07.25 01:46 작성 조회수 100

0

안녕하세요!

 

제가 이번에 크롤링 하려는 것의 robots.txt에 들어가봤는데 해당 url이 disallow 처리가 되어있더라고요ㅠㅠ

 

이럴 시 해당 url을 크롤링하면 법적으로 문제가 되는지 궁금하여 질문 올리게 되었습니다.

답변 1

답변을 작성해보세요.

1

안녕하세요. 롤로님

 

https://namu.wiki/w/robots.txt

 

한 번 읽어보시면 도움이 될 것 입니다.

 

감사합니다.