강의

멘토링

로드맵

NEW
Programming

/

Back-end

Thiết kế Pattern xử lý dữ liệu lớn dựa trên Data Workflow Management cùng với Senior Developer của Toss [ By. Người không chuyên ngành & Toss Developer ]

Học cách xây dựng data pipeline sử dụng Apache Airflow từ cơ bản đến thực chiến. Hiểu rõ các khái niệm cốt lõi và kiến trúc của Airflow, đồng thời thực hành các mẫu thiết kế nâng cao thường được sử dụng trong thực tế như Dynamic DAG, xử lý song song, xử lý phân tán, Custom Operator. Thiết lập môi trường thực hành với Python và Docker, phát triển năng lực thực chiến để thiết kế và vận hành workflow thực tế.

52 học viên đang tham gia khóa học này

  • Hong
실습 중심
자격증
시험
데이터분석
데이터베이스
Big Data
Docker
docker-compose
airflow

Dịch cái này sang tiếng Việt

  • Hiểu về khái niệm và tính cần thiết của Apache Airflow

  • Hiểu cấu trúc các thành phần cốt lõi của Airflow

  • Phương pháp thiết kế DAG động (Dynamic DAG)

  • TaskGroup và các mẫu quản lý phụ thuộc

  • Chiến lược xử lý song song và tái xử lý dữ liệu lớn

  • Custom Operator và việc sử dụng đóng gói, decorator tương ứng

  • Python & Docker dựa trên việc xây dựng môi trường thực hành

Nên sử dụng dịch vụ nào để xây dựng pipeline xử lý batch dữ liệu lớn? 🤔

❗Đây là nội dung cuộc trò chuyện thực tế.❗

😁 Toss : Hong ơi, bạn có biết về airflow không??

😄 Hong : Tôi biết về nó, nhưng chưa thử dùng. Tại sao?

😁 Toss : Bài gi강 về workflow mà làm lần trước đó, sau khi xem rồi mình nghĩ có thể cũng nên đề cập đến airflow thì sao.. vì mình chỉ từng dùng airflow thôi

😄 Hong : Nhưng mà tôi airflowchưa dùng bao giờ, không biết lắm, phải làm thế nào đây

😁 Toss : Không sao, tôi đang sử dụng trong công việc thực tế nên có thể chủ động hướng dẫn cho bạn. Tôi sẽ cháy hết mình vì học trò

😄 Hong : 😆😆😆😆 Concept hay đấy. Được rồi. Nhưng cái này có bắt buộc phải dùng không?? Thực ra mình không thấy khác biệt lớn giữa xử lý batch thông thường hay cron job?

😁 Toss : Việc bạn có suy nghĩ như vậy airflowchính là lý do tại sao phải sử dụng airflow.. airflowcó một số khác biệt với batch processing hay cron job, nói nhanh thì giống như lý do tại sao phải sử dụng workflow và big data cũng tồn tại mà.

Ý nghĩa của lời nói cuối cùng mà nhà phát triển senior của Toss đã nói trong cuộc trò chuyện trước đó là gì vậy??🤔

Khi xây dựng module xử lý dữ liệu thì có nhất thiết phải dùng Airflow không?? Tại sao lại bắt buộc phải sử dụng?? Theo tôi nghĩ thì chỉ cần triển khai bằng module xử lý batch thông thường hoặc cron job là được rồi??

Bạn có từng nghĩ như vậy không?? Nếu vậy thì việc học cách sử dụng và triển khai Airflow thông qua khóa học này sẽ giúp ích rất nhiều cho sự nghiệp của bạn.


Câu trả lời nằm ở quản lý workflow. Làm thế nào để chuỗi quy trình từ trích xuất dữ liệu, xử lý, đến phân tích có thể diễn ra một cách ổn định và được quản lý tuần tự, phụ thuộc lẫn nhau như một pipeline?? Sẽ ra sao nếu toàn bộ chuỗi quy trình này được hỗ trợ thông qua một nền tảng duy nhất??


Không phải là bài giảng nhàm chán chỉ liệt kê lý thuyết, mà được chuẩn bị như một hướng dẫn thực chiến để hoàn toàn chinh phục các chức năng cốt lõi về thiết kế pipeline dữ liệu quy mô lớn dựa trên workflow, thông qua việc cùng nhau tìm hiểu quá trình hoạt động. 🚀

Đặc điểm của khóa học này

📌 Khoảng 30 sơ đồ, tệp tóm tắt bài giảng với cấu trúc bài giảng phong phú

* Đây không chỉ là bài giảng giải thích bằng lời nói đơn thuần, mà chúng tôi còn cung cấp mã nguồn thực tế, sơ đồ, sequence diagram, và thêm vào đó là các file tóm tắt ngắn gọn về nội dung bài giảng.

📌 Lý thuyết 60%, Thực hành 40%, Cung cấp môi trường kiểm thử hoàn hảo

* Đây không phải là bài giảng chỉ đơn thuần liệt kê lý thuyết, mà chúng tôi sẽ cung cấp cho các bạn một môi trường nhẹ nhàng để có thể học tập những nội dung đã học bằng cách tự mình quan sát và xác nhận, đồng thời cấu trúc để các bạn có thể linh hoạt thực hành và kiểm tra trong môi trường này.

Chuyên môn đã được chứng minh qua các khóa học trước đây (tính đến 9.27) 👨‍🏫

🧑‍🎓 3075.0

🧑‍🎓 3794.9

🧑‍🎓 4834.7

🧑‍🎓 2394.8

Khóa học này bao gồm những nội dung sau đây. 🧩

* Airflow là gì?

*Batch Job & Cron Job Vs Airflow

*Nhược điểm của Apache Airflow và các anti-pattern khi triển khai

* Giới thiệu tổng quan về kiến trúc Core Components

* Tìm hiểu sâu về các thành phần WebServer

* Tìm hiểu sâu về các thành phần Scheduler

* Tìm hiểu sâu về các thành phần Executor

* Tìm hiểu sâu về các thành phần MetaDataDB

* Mẫu tạo DAG động [ Dynamic DAG ]

* Cross-DAG Dependencies và phụ thuộc dữ liệu

* Thiết kế workflow phức tạp sử dụng TaskGroup

* Custom Operator cho việc tái sử dụng và đóng gói

*Docker, docker-compose를 활용한 구축 môi trường nhẹ

* Chiến lược xử lý song song và xử lý phân tán của Airflow

* Thông báo sử dụng Slack

* Xử lý dữ liệu phân tán sử dụng CeleryExecutor

Lý do khóa học này đặc biệt

📌 Sự kiện cung cấp 50 phiếu giảm giá

Khóa học trong thời gian giảm giá sớmsẽ chọn ra 50 người trong số những người mua và cung cấp cho mỗi người 1 coupon giảm giá 50%

Tài liệu nên xem cùng 🚀

Người tạo ra khóa học này 🤭

  • Bắt đầu từ người không chuyên ngành, hiện tại là một lập trình viên đang làm việc tại Pangyo với vai trò phát triển backend nền tảng

  • Mục tiêu là chia sẻ phương pháp phát triển thực tế và lý thuyết phát triển, là người chia sẻ kiến thức tạo ra các khóa học cùng với những người quen có năng lực xung quanh chứ không phải một mình

  • Người chia sẻ kiến thức đã được Inflearn phỏng vấn nhờ hoạt động tích cực


  • Tốt nghiệp chuyên ngành Khoa học Máy tính ở tỉnh lẻ, từng làm phát triển phần mềm tại Naver và hiện đang làm phát triển backend tại Toss - một lập trình viên server

  • Một lập trình viên luôn bị Hong mắng vì thiếu thời gian...

  • Nhà phát triển mơ ước đạt được tự do tài chính và trở thành lập trình viên độc lập

Lưu ý

Môi trường thực hành

  • python3, pip3

    • Python 3.13.2

    • 25.0 from /opt/homebrew/lib/python3.13/site-packages/pip (python 3.13)

  • docker, docker-compose

    • Docker version 28.0.0, build f9ced58158

    • Docker Compose phiên bản 2.33.1

  • OS

    • Apple M3 Air

Khóa học này được lên kế hoạch điều chỉnh tỷ lệ giảm giá theo thời gian để cung cấp mức giảm giá cao hơn cho những người mua sớm. Xin vui lòng tham khảo thông tin này.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Kỹ sư máy chủ/dữ liệu xử lý dữ liệu quy mô lớn trong thực tế

  • Nhà phát triển muốn tích lũy kinh nghiệm thiết kế và vận hành data pipeline

  • Người phụ tr책 kỹ thuật của các doanh nghiệp muốn triển khai hoặc nâng cao Airflow

  • Kiến trúc sư quan tâm đến xử lý phân tán và tự động hóa workflow

  • Trưởng nhóm/Nhà phát triển cấp cao muốn xây dựng nền tảng dữ liệu ổn định trong môi trường sản xuất

Xin chào
Đây là

3,174

Học viên

212

Đánh giá

86

Trả lời

4.6

Xếp hạng

16

Các khóa học

자기 소개

집에서 빈둥대다 개발에 흥미를 느껴 개발 공부를 시작하였고 현재는 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다.

 

제가 공부를 했던 방법과 실무에서 접하실 수 있는 여러가지 문제점들과 해결책을 여러분들에게 제공하고 싶어 지식공유자 활동을 이어나가고 있습니다.

 

강의는 오로지 저만의 지식을 통해 만들어지지 않습니다. 모든 강의는 함께하시는 분들이 계십니다.

 

지식공유자 경력

[前] 샌드박스 블록체인 개발자

[前] 넥슨 자회사 백엔드 개발자

[] 판교에서 고여가는 서버 개발자

 

인터뷰 이력

Chương trình giảng dạy

Tất cả

29 bài giảng ∙ (4giờ 39phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Ưu đãi có thời hạn

39.600 ₫

50%

1.674.075 ₫

Khóa học khác của Hong

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!