Mô hình thiết kế xử lý dữ liệu lớn dựa trên Data Workflow Management cùng với các nhà phát triển Toss
Học tập quy trình xây dựng đường ống dữ liệu (data pipeline) sử dụng Apache Airflow từ cơ bản đến thực tế. Hiểu rõ các khái niệm cốt lõi và kiến trúc của Airflow, đồng thời thông qua thực hành để nắm vững các mẫu thiết kế nâng cao thường được sử dụng trong thực tế như DAG động, xử lý song song, xử lý phân tán và Custom Operator. Xây dựng môi trường thực hành với Python và Docker, từ đó nuôi dưỡng năng lực thực chiến để thiết kế và vận hành các luồng công việc (workflow) thực tế.
219 học viên
Độ khó Cơ bản
Thời gian Không giới hạn
- Đã giải quyết
데이터베이스 설정 가져오기 시 캐싱 관련 질문 있습니다
안녕하세요, 좋은 강의 감사드립니다.강의 내용 중 DAG Top-Level에서 캐싱을 사용해 DB 설정 조회 시 스케줄러 DAG 파싱 리소스를 절약할 수 있다는
airflowsgjeong1108
・
4 tháng trước
0
54
1
- Đã giải quyết
강의에서사용하신 root.py 파일이 안보여서 실습하면서 만든 텍스트 공유 드려요
dynamicDagfrom datetime import datetime, timedelta from airflow import DAG fr
빅데이터dockerdocker-composeairflowdellahong
・
9 tháng trước
0
209
7
- Đã giải quyết
실습환경에 대해 질문이 있습니다!
안녕하세요섹션6의 강의를 듣다가 질문드릴게 있어 글을 작성하게되었습니다우선 강의를 너무 잘 듣고 있음에
빅데이터dockerdocker-composeairflowjomseni0393
・
một năm trước
0
106
2

