실리콘밸리 엔지니어와 함께하는 Apache Airflow 대시보드

초급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.

소프트웨어 데이터 파이프라인을 만들 때 가장 많이 사용하는 Orchestrator(오케스트레이터)인 Apache Airflow(아파치 에어플로우)를 배우실 수 있습니다.

데이터 파이프라인 필수 도구, Airflow
실리콘밸리 개발자에게 배우세요! 🔥

모던한 데이터 워크플로우 관리,
Apache Airflow와 함께 📌

복잡한 개념은 뒤로, Airflow의 매력적인 세계로!

데이터 분석과 처리 작업이 복잡해지면서 작업의 스케줄링, 의존성 관리, 오류 처리 등의 문제가 더욱 중요해지고 있습니다. 이러한 과제들을 효과적으로 다루기 위해 Airflow는 많은 조직에서 선택하는 핵심 도구 중 하나입니다.

본 강의는 처음 Airflow를 접하는 여러분들을 위해 미리 준비한 강의입니다. 실리콘밸리에서 보편화된 Apache Airflow. 간단하고 쉬운 입문을 도와드릴게요.

왜 Apache Airflow를 배워야 할까요?

강의 특징 ✨

✅ 어려운 개념 없이 쉽게! Airflow가 무엇인지, 왜 필요한지 비유와 예시를 통해 설명합니다.

✅ 실제 Airflow 사용 과정을 따라 하고, 간단한 데이터 워크플로우를 만들어 보는 실습 중심 강의!

✅ 강의 중 궁금하거나 이해하지 못한 부분이 있다면 언제든지 질문해 주세요. Q&A와 함께 학습하세요!

학습 내용 📚

_{클라우드 소프트웨어 아키텍처 Overview}

_{데이터 파이프라인 오케스트레이터에 대한 소개}

_{아파치 Airflow에 대한 소개}

_{Apache Airflow의 중요 컴포넌트 소개}

_{각 컴포넌트 세부 소개}

_{코드에 대한 세밀한 분석}

현직 실리콘밸리 엔지니어의 노하우를 그대로 전해드립니다!

저는 유튜브 "미쿡 엔지니어" 및 브런치 "실리콘 밸리 소식과 삶"을 운영하는 현직 소프트웨어 엔지니어입니다. 지금은 미국 University of California, Berkeley EECS를 졸업하고 미국 실리콘밸리 글로벌 빅테크 기업 본사에서 빅데이터 관련 업무를 진행하고 있습니다. 실제 업무에서 알게 된 노하우를 많은 분들께 전해드리고 싶습니다. 🙂

이런 분들이시라면 
지금 바로 시작해 보세요.

예상 질문 Q&A 💬

수강 전 참고 사항 📢

실습 환경

• 운영 체제 및 버전(OS)
  • 강의는 MacOS에서 진행되지만, 파이썬(Airflow 자체가 파이썬 라이브러리임)이 있는 운영체제라면 어디든지 실습할 수 있습니다.
• 사용 도구
  • 파이썬 3.7+
  • Airflow는 Apache 라이센스이므로 무료입니다.
• PC 사양
  • CPU:  2코어 이상
  • 메모리: 4GB 이상
  • 디스크: 10GB 이상

선수 지식 및 유의 사항

• 파이썬과 Docker(도커)에 대한 기본 지식이 필요합니다.
• 질문이 있으면 편하게 해주세요. 다만 제가 미 서부에 있다 보니, 답변까지 시간이 조금 걸릴 수 있습니다.

이런 분들께 추천드려요!