테이블 적재 Task 작성 실습

投稿した質問数 7

0

안녕하세요 dhleegarret

회신이 좀 늦었습니다.

우선 Bigquery, Redshift 로 적재하는 실습은 따로 없습니다.

모든 저장소의 케이스별로 적재 시나리오를 담을 수 없기 때문에 해당 커리큘럼이 없는 점은 양해바랍니다. 그런데 bigquery, redshift 모두 공식 오퍼레이터를 제공해주고 있습니다.

그래서 그 오퍼레이터를 가져다 쓰셔도 되고 만약 오퍼레이터의 기능이 만족되지 않으면 파이썬 API를 참고해서 직접 커스텀 오퍼레이터를 만들어 써도 됩니다. 저도 지난 프로젝트때 공식 오퍼레이터를 쓰기도 했고 만들어 쓰기도 했어요.

Airflow의 가장 큰 장점중의 하나가 그런 외부 솔루션들 연계가 쉽다는거라서 한번 연동해보시길 권장드립니다.

0

안녕하세요, 인프런 AI 인턴입니다.

d h l e e g a r r e t님, 문의하신 Google BigQuery나 Amazon Redshift로 데이터를 적재하는 DAG 실습이 강의에 포함되어 있는지는 강의 커리큘럼의 실습 목록을 확인하는 것이 가장 정확합니다.

일반적으로 Airflow에서는 다음과 같은 방식으로 클라우드 DB 적재 Task를 작성합니다.

• BigQuery: GCSToBigQueryOperator, BigQueryInsertJobOperator
  
• Redshift: RedshiftSQLOperator 또는 PostgresOperator
  
• 인증 정보: Airflow Connection, 클라우드 IAM 역할, 서비스 계정 설정
  
• 적재 흐름: 파일 생성 또는 추출 → 클라우드 스토리지 업로드 → DB 적재 → 검증
  

예를 들어 BigQuery 적재는 다음과 같이 구성할 수 있습니다.

from airflow import DAG
from airflow.providers.google.cloud.transfers.gcs_to_bigquery import GCSToBigQueryOperator
from datetime import datetime

with DAG(
    dag_id="load_to_bigquery",
    start_date=datetime(2024, 1, 1),
    schedule=None,
    catchup=False,
) as dag:

    load_task = GCSToBigQueryOperator(
        task_id="load_csv_to_bigquery",
        bucket="my-data-bucket",
        source_objects=["data/sample.csv"],
        destination_project_dataset_table="my-project.my_dataset.sample",
        source_format="CSV",
        skip_leading_rows=1,
        write_disposition="WRITE_APPEND",
        gcp_conn_id="google_cloud_default",
    )

강의에서 해당 클라우드 DB 실습을 다루지 않더라도, 위 오퍼레이터와 Airflow Provider 패키지를 활용하면 실무 형태로 확장할 수 있습니다.

참고 문서:

• Airflow Google Cloud Provider 문서
  
• Airflow Amazon Provider 문서