210628 TIL2

Airflow 기본 concept 이해하기 - Airflow란 worflow에 대해 설명하고, 실행하고, 모니터링하는 도구 배치 테이블간 Dependency를 관리하기 위해 주로 사용 DAG : 작업이 수행되어야하는 순서에 대한 설명 Operator : 어떤 작업을 수행하기 위한 템플릿으로 작동하는 클래스 Task : Operator의 매개 변수화 된 인스턴스 Task Instance : 1) DAG에 할당되고 2) DAG의 특정 실행과 관련된 상태가 있는 Task - 추가공부필요 python operator로 query to spreadsheet 생성하기. 데이터 backfill할때 변수받아서 빌드 ( 파이썬 버전문제로 에러남 )

210627 TIL1

- cron이란? 특정한 시간에 또는 특정 시간마다 어떤 작업을 자동으로 수행하게 해주고 싶을때 사용하는 명령어. Airflow, Jenkins 내 수행시간 지정해줄 때 필요한 것으로, 시간설정 요소만 정리해보겠습니다 - crontab cron작업을 설정하는 파일을 crontab 파일이라고 함. - 요소 ( 기억하기 ) 분 - 시 - 일 - 월(month기준) - 요일 - 사용자 - 실행명령 - 각 피드는 위 표에 명기된 설정값 이외에 * , - / 를 사용할수 있음. : 각 필드 자리에 *기호가 오면 해당 필드의 모든 값을 의미 : 그 사이의 모든 값 ex 세번째 필드에 1-5면 1일~5일 의미 , : 지정한 모든 값을 의미 ( 불규칙적인 값 지정시 주로 사용 2번째 필드에서 "1,3,4"는 1시 3시 4시를 의미 / : 연결된 설정 값 범위에서 특정 주기로 나눌때 사용합니다. - 유용한 cron 설정 예시