월 21,780원
5개월 할부 시
초급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.
데이터 파이프라인을 효율적으로 만들고 관리하기 위한 Orchestration 도구인 Airflow에 대해 배우는 강의입니다. 초보자도 차근차근 배울 수 있는 Airflow 마스터 클래스, 환영합니다!
이런 걸
배워요!
데이터 파이프라인, Airflow로 고민 끝 📊
처음 시작하는 Airflow의 모든 것
- Airflow를 많이 쓴다던데 Airflow가 뭐지?
- Airflow로 무엇을 할 수 있지?
- Airflow로 파이프라인을 어떻게 만들 수 있지?
- 다른 솔루션과 어떻게 연계하고 데이터를 추출, 저장하지?
- Airflow로 카카오톡, Slack 같은 메신저를 어떻게 연동하지?
- Airflow로 ChatGPT와 연계하여 블로그 자동 글쓰기가 가능할까?
![](https://cdn.inflearn.com/public/files/courses/328989/79d67344-dd93-4a68-9df0-d4ca6caf514c/airflow.png)
👉 Apache Airflow(아파치 에어플로)의 기본 개념부터 대용량 환경에서 운영할 수 있는 아키텍처 구성까지 모든 것을 담았습니다.
👉 약 60개 가량의 실습파일은 Github에서 다운받을 수 있습니다.
그런데, 왜 Airflow일까요?
![](https://cdn.inflearn.com/public/files/courses/328989/ab1d2c28-91b4-4170-9595-a2d111fdba9e/331648-1.png)
Airflow는 추출, 가공, 저장, 분석 등이 이루어지는 데이터 파이프라인을 만들고 관리하는 핵심적인 오케스트레이션 솔루션입니다.
![](https://cdn.inflearn.com/public/files/courses/328989/b013d457-d5e7-4850-986f-1f9631d6eb2a/331648-0.png)
Airflow는 유사 솔루션 중에서도 가장 인기가 많은 파이프라인 관리 도구이며, 도입 사례 또한 계속해서 증가하고 있습니다.
이런 분들께 강의를 추천합니다
![inflearn_python_04.png](https://cdn.inflearn.com/public/files/courses/324145/c8738b0e-99c5-45c1-9fc0-3b64141b36b6/inflearn_python_04.png)
![inflearn_python_07.png](https://cdn.inflearn.com/public/files/courses/324145/9b8f6df3-8278-446f-b0da-394371126807/inflearn_python_07.png)
![inflearn_python_06.png](https://cdn.inflearn.com/public/files/courses/324145/51fc6ebd-2a7d-4032-91bf-36b99f3789f1/inflearn_python_06.png)
무엇을 배울 수 있을까요?
![](https://cdn.inflearn.com/public/files/courses/331648/bb585c67-577c-4bf3-a7d9-e6801ea38538/vscode.png)
Airflow 기본기
Airflow의 개념과 워크플로를 만드는 방법 등 기본적인 사용법을 실습을 통해 배웁니다. 60개 정도의 실습 파일로 차근차근 배울 수 있도록 구성하였습니다.
![](https://cdn.inflearn.com/public/files/courses/331648/529f3272-dd8b-43f7-b8bd-7b6a14cad4ec/email.png)
파이프라인 구성
스케줄링 관리를 통한 이메일 전송 등 Airflow를 이용해 DAG 파이프라인을 개발하고 실행하는 과정을 학습합니다.
![](https://cdn.inflearn.com/public/files/courses/331648/f504e041-4601-45d5-a795-043fe2c7e38c/%EC%84%9C%EC%9A%B8%EC%8B%9C%EA%B3%B5%EA%B3%B5%EB%8D%B0%EC%9D%B4%ED%84%B0.png)
데이터 수집
서울시 공공데이터 포털에서 API로 데이터를 받아 저장하는 파이프라인을 구성해봅니다.
![](https://cdn.inflearn.com/public/files/courses/331648/1133f485-9613-472c-9b67-7ec1c3a45243/%EC%B9%B4%EC%B9%B4%EC%98%A4%ED%86%A1%EB%B0%9B%EA%B8%B0.png)
모니터링 및 연동
카카오톡, 슬랙(Slack) 메신저 앱과 연동해 에러메시지, DAG 현황 등 알람(Alarm) 받기를 실습해 봅니다.
![](https://cdn.inflearn.com/public/files/courses/331648/5f4a8591-b01c-4183-be9c-5a323e1a1ce7/Rshiny%20%EC%8B%9C%EA%B0%81%ED%99%94.png)
데이터 시각화
R 언어를 이용하여 시각화할 수 있는 R Shiny에 대한 개념을 소개합니다. 서울시공공데이터포털에서 받은 데이터를 이용하여 시각화를 진행해봅니다.
![](https://cdn.inflearn.com/public/files/courses/331648/bd4e0044-bedd-400a-8868-05bb72618f63/Celery%20Executor.png)
아키텍처
Airflow의 여러 배포 방식 및 아키텍처에 대해 배우고, 대용량 환경에서 안정적으로 운영할 수 있는 방법을 익힙니다.
![](https://cdn.inflearn.com/public/files/courses/331648/071cae28-2036-4b3d-a506-9e5095adf340/%EB%B8%94%EB%A1%9C%EA%B7%B8%EC%9E%90%EB%8F%99%ED%8F%AC%EC%8A%A4%ED%8C%85.png)
업무 자동화
ChatGPT에 대한 개념을 소개하고 파이썬(Python) API와 ChatGPT를 연계하는 방법을 알아봅니다. 파이썬으로 주식정보를 불러올 수 있는 방법을 통해 주식 급등 종목에 대해 ChatGPT가 소개하는 내용을 블로그에 자동 포스팅해보는 자동화를 실습해봅니다.
수강 전 다음 내용을 알고 있으면 좋습니다 ✨
1. Python 기본 지식
- Airflow는 파이프라인을 Python 언어로 만듭니다. 그래서 Python을 어느 정도 할 줄 아셔야 합니다.
- 하지만 너무 깊은 지식을 요하지는 않습니다. for, if, while 등 기본적인 제어 문법과 리스트, 딕셔너리를 잘 다루실 수 있는 정도면 충분히 따라올 수 있습니다.
- 후반부에는 클래스 상속 등의 내용이 나오지만 너무 걱정하지 마세요. 모두 설명해 드리고 넘어갑니다.
2. Docker 및 Docker Compose
- 기본적인 실습 환경은 Windows의 WSL 입니다.
- 그리고 Airflow는 Docker(도커)를 이용하여 설치되고 Docker Compose(도커 컴포즈)로 여러 실습을 진행하므로 Docker를 다룰 줄 안다면 수월합니다.
- 그러나 이것도 걱정하지 않으셔도 됩니다. Docker 개념과 사용방법까지 모두 알려드립니다.
3. SQL
- 기본적인 SQL 문법 (SELECT ... FROM ... WHERE) 를 알고 있으면 좋습니다.
- 실습 과정 중 종종 나오는 SQL 문법은 모두 설명해 드립니다.
실습 환경을 확인해주세요 ✨
- 실습하실 PC or 노트북은 8GB 이상의 메모리를 갖추시는 걸 권장합니다.
- Airflow는 Windows에 직접 설치가 되지 않기 때문에 기본적으로 Windows의 WSL 을 이용하여 Airflow를 설치하고 실습합니다. (WSL 설치 과정은 모두 설명드립니다 😊)
- macOS 사용하시는 분들은 별도 준비 사항 없이 수강 가능합니다.
이 강의를 만든 사람 ✒️
김현진
- 정보관리기술사
- 현 LG CNS 데이터 엔지니어
- 패스트캠퍼스 이어드림 3기(2023) 강사
- 카톨릭 관동대학교 인공지능 과정 강사 (2023)
- 멀티캠퍼스 데이터 사이언스 멘토 (2022)
![](https://cdn.inflearn.com/public/files/courses/328989/89b2fc21-a258-4122-9e4f-2ee9f65d08eb/331648-2.jpg)
Q&A 💬
Q. 강의는 어떤 식으로 진행하나요?
Airflow에서 워크플로우를 DAG이라고 하는데, DAG을 함께 작성해보는 방식으로 실습합니다. 기본 개념을 설명하는 시간 외에는 기본적으로 각 장마다 실습을 진행합니다.
실습 파일이 긴 경우에는 제가 미리 DAG 파일을 만들어 놓고, 로직을 설명하는 방식으로 진행합니다.
Q. 실습 파일과 학습 자료를 다운로드받을 수 있나요?
물론입니다! Github에서 실습 파일을 모두 받을 수 있습니다. Git 사용법을 잘 모르신다구요? Git 사용법도 알려드립니다.
그리고 PDF 기반 학습 자료도 모두 제공해드립니다. 섹션 0 - 강의자료 다운로드에서 받으시면 됩니다.
Q. 실습 난이도는 어느 정도인가요?
초반에는 파이썬의 기본적인 문법만 알아도 이해할 수 있으나 후반부로 갈수록 난이도는 조금 어려울 수 있기에 파이썬의 클래스, 상속과 같은 개념을 알면 도움이 됩니다. 그렇지만 걱정 마세요. 실습 내용은 충분히 설명드리고 진행합니다.
Q. Airflow 배우면 무엇을 할 수 있나요?
Bash Shell, 파이썬으로 할 수 있는 것은 모두 할 수 있습니다. 무언가를 Airflow로 할 수 있는지가 궁금하다면, 그것을 Bash Shell 또는 파이썬 언어로 처리할 수 있는지를 먼저 알아보세요. Bash Shell 또는 파이썬 언어로 할 수 있다면 Airflow로 할 수 있습니다.
이런 분들께 추천드려요!
학습 대상은
누구일까요?
선수 지식,
필요할까요?
김현진 입니다.