공공데이터포털에서 크롤링이나 파싱으로 csv 파일 자동 다운로드 ... - 인프런

안녕하세요.

질문 주신 파이썬으로 크롤링을 통해 데이터를 다운로드 할수 있습니다.

일단 공공데이터 포털은 API와 데이터셋으로 구분해서 데이터를 수집할 수 있도록 되어 있는데

API는 호출을 통해 데이터를 가져올 수 있는 방법이고요.

질문주신 내용은 다운로드를 requests 등의 라이브러리를 통해 내 장비의 드라이브로 가져와서 주피터 노트북으로 로드하는 부분을 자동화 하는 것을 질문해 주신것 같아요.

사이트 중에는 requests 만으로도 크롤링이 가능한 사이트도 있고 셀레니움 등의 툴을 사용해야 되는 사이트도 있는데요.

아래 영상이 제가 봤던 크롤링 영상 중에 가장 잘 정리가 된 영상인것 같아요.

파이썬 강의를 오랫동안 하신 AskDjango의 이진석님의 영상입니다.

[파이썬을 통한 웹페이지 크롤링 살펴보기 - YouTube](https://www.youtube.com/watch?v=7_IEdMv9eFE&t=3781s)

그리고 파일다운로드가 아닌 크롤링을 하고자 한다면 제 유튜브 채널 영상 중에도 크롤링 영상이 있으니 참고해 보세요.

[(데이터톤 01) Python 파이썬 크롤링 - requests 로 html 파일 불러오기(정부혁신 국민포럼 페이지 가져오기) - YouTube](https://www.youtube.com/watch?v=mdlFh-sJ7QQ&list=PLaTc2c6yEwmqVXoJNbN1PV53XpJTtQGgT)

또, 인프런 무료 강좌중에 파일 다운로드를 다루는 강좌가 있어서 소개합니다.

인프런 커뮤니티 질문&답변