강의

멘토링

로드맵

인프런 커뮤니티 질문&답변

신진님의 프로필 이미지
신진

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

6.빅데이터 구현기술

AIRFLOW

작성

·

382

0

빅데이터 관련 최고의 강의와 책을 내주셔서 항상 감사합니다.

수업과 직접 관련된 질문은 아닌데요. 회사에서 데이터 엔지니어분들이 AIRFLOW라는 툴을 

씁니다. 이건 혹시 어떤 기능을 하는지 아실까요?

퀴즈

빅데이터를 정의하는 핵심적인 특징들(6V)에 해당하지 않는 것은 무엇인가요?

볼륨 (Volume)

다양성 (Variety)

검증 (Verification)

속도 (Velocity)

답변 1

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 신진님!

먼저 강의에 대한 칭찬 감사합니다. ㅎㅎ

아파치 Airflow는 파일럿 프로젝트의 후반부에서 다루는 Oozie와 유사합니다.

주로 워커/브로커/스케즐러등을 이용해 약속된 작업의 파이프라인 흐름(워크플로우)을 정의 합니다.

Oozie는 다소...하둡 에코시스템에 특화된 기능과 컴포넌트들로 구성 되어 있지만, Airflow는 좀더 일반화된 기능들로 다양한 시스템에서 범용적인 작업관리로 사용됩니다. Airflow 말고도 많이 사용되는 S/W로는 Azkaban, NiFi 등이 있습니다. 구글링을 해보시면 관련 자료들을 많이 찾아 보실 수 있을겁니다.

- 빅디 드림

신진님의 프로필 이미지
신진

작성한 질문수

질문하기