AIRFLOW
384
작성한 질문수 102
빅데이터 관련 최고의 강의와 책을 내주셔서 항상 감사합니다.
수업과 직접 관련된 질문은 아닌데요. 회사에서 데이터 엔지니어분들이 AIRFLOW라는 툴을
씁니다. 이건 혹시 어떤 기능을 하는지 아실까요?
답변 1
0
안녕하세요! 신진님!
먼저 강의에 대한 칭찬 감사합니다. ㅎㅎ
아파치 Airflow는 파일럿 프로젝트의 후반부에서 다루는 Oozie와 유사합니다.
주로 워커/브로커/스케즐러등을 이용해 약속된 작업의 파이프라인 흐름(워크플로우)을 정의 합니다.
Oozie는 다소...하둡 에코시스템에 특화된 기능과 컴포넌트들로 구성 되어 있지만, Airflow는 좀더 일반화된 기능들로 다양한 시스템에서 범용적인 작업관리로 사용됩니다. Airflow 말고도 많이 사용되는 S/W로는 Azkaban, NiFi 등이 있습니다. 구글링을 해보시면 관련 자료들을 많이 찾아 보실 수 있을겁니다.
- 빅디 드림
주제영역3 데이타 조회 문의
0
55
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
133
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
161
3
환경세팅 질문있습니다.
0
113
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
145
2
HDFS 명령어를 치는데 오류가 납니다
0
138
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
112
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2