210628 TIL2

Airflow 기본 concept 이해하기

- Airflow란

• worflow에 대해 설명하고, 실행하고, 모니터링하는 도구
• 배치 테이블간 Dependency를 관리하기 위해 주로 사용
• DAG : 작업이 수행되어야하는 순서에 대한 설명
• Operator : 어떤 작업을 수행하기 위한 템플릿으로 작동하는 클래스 
  • Task : Operator의 매개 변수화 된 인스턴스
    • Task Instance : 1) DAG에 할당되고 2) DAG의 특정 실행과 관련된 상태가 있는 Task

- 추가공부필요 

   python operator로 query to spreadsheet 생성하기. 

   데이터 backfill할때 변수받아서 빌드 ( 파이썬 버전문제로 에러남 )