빅데이터 관련 최고의 강의와 책을 내주셔서 항상 감사합니다.
수업과 직접 관련된 질문은 아닌데요. 회사에서 데이터 엔지니어분들이 AIRFLOW라는 툴을&nbsp;
씁니다. 이건 혹시 어떤 기능을 하는지 아실까요?

안녕하세요! 신진님!
먼저 강의에 대한 칭찬 감사합니다. ㅎㅎ
아파치 Airflow는 파일럿 프로젝트의 후반부에서 다루는 Oozie와 유사합니다.
주로 워커/브로커/스케즐러등을 이용해 약속된 작업의 파이프라인 흐름(워크플로우)을 정의 합니다.
Oozie는 다소...하둡 에코시스템에 특화된 기능과 컴포넌트들로 구성 되어 있지만, Airflow는 좀더 일반화된 기능들로 다양한 시스템에서 범용적인 작업관리로 사용됩니다. Airflow 말고도 많이 사용되는 S/W로는 Azkaban, NiFi 등이 있습니다. 구글링을 해보시면 관련 자료들을 많이 찾아 보실 수 있을겁니다.
- 빅디 드림

인프런 커뮤니티 질문&답변

AIRFLOW