강의

멘토링

커뮤니티

Inflearn Community Q&A

monologg's profile image
monologg

asked

Introduction to Python and Creating Various Automated Applications Using Web Crawling

robots.txt의 disallow

Written on

·

164

0

안녕하세요!

 

제가 이번에 크롤링 하려는 것의 robots.txt에 들어가봤는데 해당 url이 disallow 처리가 되어있더라고요ㅠㅠ

 

이럴 시 해당 url을 크롤링하면 법적으로 문제가 되는지 궁금하여 질문 올리게 되었습니다.

python웹-크롤링

Answer 1

1

niceman님의 프로필 이미지
niceman
Instructor

안녕하세요. 롤로님

 

https://namu.wiki/w/robots.txt

 

한 번 읽어보시면 도움이 될 것 입니다.

 

감사합니다.

 

 

monologg's profile image
monologg

asked

Ask a question