asked
Introduction to Python and Creating Various Automated Applications Using Web Crawling
Written on
·
164
0
안녕하세요!
제가 이번에 크롤링 하려는 것의 robots.txt에 들어가봤는데 해당 url이 disallow 처리가 되어있더라고요ㅠㅠ
이럴 시 해당 url을 크롤링하면 법적으로 문제가 되는지 궁금하여 질문 올리게 되었습니다.
Answer 1
1
안녕하세요. 롤로님
https://namu.wiki/w/robots.txt
한 번 읽어보시면 도움이 될 것 입니다.
감사합니다.