강의

챌린지

멘토링

로드맵

커뮤니티

Mẫu thiết kế xử lý dữ liệu khối lượng lớn dựa trên Data Workflow Management cùng các nhà phát triển Toss

Học quy trình xây dựng đường ống dữ liệu bằng Apache Airflow từ cơ bản đến thực hành. Bạn sẽ hiểu các khái niệm cốt lõi và kiến trúc của Airflow, đồng thời thông qua thực hành, nắm vững các mẫu thiết kế nâng cao thường được sử dụng trong thực tế như DAG động, xử lý song song, xử lý phân tán và Custom Operator. Bạn sẽ thiết lập môi trường thực hành bằng Python và Docker, đồng thời phát triển năng lực thực tiễn để thiết kế và vận hành các workflow thực tế.

(4.7) 20 đánh giá

232 học viên

Độ khó Cơ bản

Thời gian Không giới hạn

Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow
Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow

Đánh giá từ những học viên đầu tiên

4.7

5.0

미래 1인 개발자

93% đã tham gia

Lần này tôi là một developer đang phát triển tại Toss, cùng chuẩn bị khóa học với chủ đề về Airflow - có thể nói là bông hoa của batch processing. Dù dịch vụ Airflow có thể khá xa lạ với nhiều người, nhưng khi dịch vụ trở nên lớn mạnh thì những workflow service như thế này sẽ cực kỳ hữu ích. Bởi vì đây là dịch vụ được ưu tiên xem xét hàng đầu trong việc xử lý batch processing quy mô lớn. Ngay cả khi các bạn hiện tại chưa cần thiết phải học Airflow, thì những quan điểm và khái niệm đa dạng mà khóa học này truyền đạt chắc chắn sẽ hữu ích cho môi trường phát triển và học tập của các bạn. Vì tôi không nghĩ đây chỉ đơn thuần là một khóa học chỉ dạy về Airflow. Mong các bạn quan tâm nhiều và cũng mong các bạn hãy chờ đợi khóa học tiếp theo. Cảm ơn các bạn!!

5.0

dellahong

62% đã tham gia

Tôi đã sử dụng Airflow được 3 năm rồi, nhưng khi quy mô xử lý dữ liệu ngày càng lớn thì bắt đầu xảy ra lỗi thường xuyên, nên tôi tò mò không biết các công ty khác sử dụng theo cách nào mà đăng ký khóa học này. Thực sự rất hữu ích! Có cả khái niệm và thực hành Airflow theo hướng thực tế nên rất giúp ích cho việc hiểu và áp dụng :)

5.0

텐버거!

100% đã tham gia

Tôi nghĩ đây là một bài giảng ý nghĩa đã giới thiệu cho tôi nhiều khái niệm đa dạng từ những góc nhìn mà lần đầu tiên tôi được thấy và trước đây không thể nhìn thấy. Nội dung bản thân nó thì... làm sao nhỉ, có vẻ như là nội dung đã mở rộng tầm nhìn của tôi. Cảm ơn rất nhiều vì bài giảng hay. Tenbagger!

Bạn sẽ nhận được điều này sau khi học.

  • Hiểu về khái niệm và sự cần thiết của Apache Airflow

  • Tìm hiểu cấu trúc các thành phần cốt lõi của Airflow

  • Phương pháp thiết kế DAG động (Dynamic DAG)

  • Mẫu quản lý TaskGroup và các phần phụ thuộc

  • Chiến lược xử lý song song và xử lý lại dữ liệu dung lượng lớn

  • Custom Operator và việc đóng gói, sử dụng decorator đi kèm

  • Xây dựng môi trường thực hành dựa trên Python & Docker

Nên sử dụng dịch vụ nào cho pipeline xử lý theo lô dữ liệu lớn? 🤔

❗Nội dung này là cuộc trò chuyện có thật.❗

😁 Toss : Hong à, cậu có biết airflow không??

😄 Hong: Biết thì có biết, nhưng chưa từng dùng, sao vậy?

😁 Toss: Cậu biết khóa học về workflow mà lần trước mình đã làm chứ? Sau khi xem nó, tớ nghĩ không biết có nên đề cập đến cả airflow không.. Vì tớ chỉ từng dùng airflow thôi.

😄 Hong : Nhưng mình airflow thì chưa dùng thử, không rành lắm, phải làm thế nào đây

😁 Toss: Không sao, hiện giờ tôi cũng đang sử dụng nó trong công việc thực tế nên tôi có thể chủ động hướng dẫn cho. Vì đệ tử, tôi sẽ dốc hết sức mình luôn

😄 Hong : ㅋㅋㅋㅋ Bắt đúng concept rồi đấy. Hiểu rồi. Nhưng nhất thiết phải dùng cái này à?? Tôi thực sự không thấy xử lý batch thông thường hay xử lý cron job khác nhau nhiều lắm?

😁 Toss: Ngay từ việc bạn có suy nghĩ như vậyairflowđã là một lý do để phải dùng nó rồi.. airflowcũng có một số điểm khác với xử lý theo lô hay cron job. Nói đơn giản thì cũng giống như lý do tại sao phải dùng workflow, với lại còn có cả dữ liệu lớn nữa mà.Airflowis somewhat different from batch processing or cron jobs; put simply, it's about why you should use workflows, and there's big data too.

Ý nghĩa câu nói cuối cùng của lập trình viên cấp cao Toss trong cuộc trò chuyện trước đó là gì??🤔

Để xây dựng mô-đun xử lý dữ liệu thì nhất thiết phải cần Airflow sao?? Tại sao nhất định phải sử dụng nó?? Theo tôi nghĩ thì chỉ cần triển khai thông qua mô-đun xử lý batch thông thường hoặc cron job là được mà??

Bạn đã từng nghĩ như vậy chưa?? Nếu vậy, việc học cách sử dụng và triển khai Airflow thông qua khóa học này sẽ giúp ích rất nhiều cho sự nghiệp của bạn.


Câu trả lời nằm ở việc quản lý workflow. Làm thế nào để toàn bộ quy trình từ trích xuất, biến đổi đến xử lý dữ liệu có thể diễn ra một cách ổn định và được quản lý tuần tự, phụ thuộc lẫn nhau như một pipeline? Sẽ thế nào nếu toàn bộ quy trình này được hỗ trợ thông qua một nền tảng duy nhất?


không phải là một khóa học nhàm chán chỉ liệt kê lý thuyết, mà được chuẩn bị như một hướng dẫn thực tiễn giúp bạn hoàn toàn làm chủ các chức năng cốt lõi trong việc thiết kế pipeline dữ liệu lớn dựa trên workflow, đồng thời cùng xem xét quá trình vận hành. 🚀

Đặc điểm của khóa học này ⚡

📌 Cấu trúc khóa học phong phú với khoảng 30 sơ đồ và file tóm tắt bài giảng

* Đây không phải là khóa học chỉ giải thích bằng lời nói đơn thuần; chúng tôi còn cung cấp mã nguồn thực tế, sơ đồ, biểu đồ tuần tự và thêm cả tệp tóm tắt ngắn gọn về nội dung bài giảng.

📌 60% lý thuyết, 40% thực hành, cung cấp môi trường kiểm thử hoàn hảo

* Đây không phải là khóa học chỉ đơn thuần liệt kê lý thuyết, mà cung cấp một môi trường nhẹ, nơi bạn có thể trực tiếp quan sát và học những nội dung đã được giảng dạy, đồng thời thực hành và kiểm thử linh hoạt trong môi trường này.

Chuyên môn đã được chứng minh qua các khóa học trước (tính đến ngày 9.27) 👨‍🏫 

🧑‍🎓 307 ⭐ 5.0

🧑‍🎓 379 ⭐ 4.9

🧑‍🎓 483 ⭐ 4.7

🧑‍🎓 239 ⭐ 4.8

Trong khóa học, chúng ta sẽ tìm hiểu những nội dung như sau. 🧩

* Airflow là gì?

*Batch Job & Cron Job so với Airflow

*Nhược điểm của Apache Airfow và các anti-pattern khi áp dụng

* Giới thiệu tổng quan về kiến trúc các thành phần cốt lõi

* Phân tích chuyên sâu các thành phần WebServer

* Tìm hiểu sâu về thành phần Scheduler

* Tìm hiểu chuyên sâu về các thành phần Executor

* Tìm hiểu sâu về các thành phần MetaDataDB

* Mẫu tạo DAG động [ Dynamic DAG ]

* Cross-DAG Dependencies và các mối phụ thuộc dữ liệu

* Thiết kế quy trình công việc phức tạp bằng TaskGroup

* Custom Operator cho khả năng tái sử dụng và đóng gói

*Docker, docker-composeđể thiết lập môi trường gọn nhẹ

* Chiến lược xử lý song song và xử lý phân tán của Airlfow

* Thông báo bằng Slack

* Xử lý dữ liệu phân tán bằng CeleryExecutor

Tài liệu nên xem cùng 🚀

Người tạo ra khóa học này🤭

  • Tôi bắt đầu là người không chuyên ngành và hiện đang là một lập trình viên làm việc tại Pangyo với vai trò phát triển backend nền tảng

  • Mục tiêu của tôi là chia sẻ những phương pháp phát triển và tư duy phát triển thực tế, đồng thời là người chia sẻ kiến thức xây dựng khóa học cùng những người quen tài giỏi xung quanh, thay vì làm một mình.

  • Nhờ tích cực hoạt động, người chia sẻ kiến thức đã từng thực hiện buổi phỏng vấn trên Inflearn.


  • Lập trình viên máy chủ từng học chuyên ngành khoa học máy tính ở địa phương, sau đó phát triển phần mềm tại NAVER và hiện đang làm phát triển backend tại Toss

  • Lập trình viên luôn thiếu thời gian nên thường bị Hong mắng rất nhiều...

  • Là một lập trình viên muốn đạt được tự do tài chính và mơ ước trở thành nhà phát triển độc lập.

Lưu ý

Môi trường thực hành

  • python3, pip3

    • Python 3.13.2

    • 25.0 từ /opt/homebrew/lib/python3.13/site-packages/pip (python 3.13)

  • docker, docker-compose

    • Docker phiên bản 28.0.0, bản dựng f9ced58158

    • Docker Compose phiên bản 2.33.1

  • Hệ điều hành

    • Apple M3 Air

Để cung cấp mức giảm giá cao hơn cho những người mua khóa học này trong thời gian đầu, tỷ lệ giảm giá dự kiến sẽ được điều chỉnh theo thời gian. Mong bạn lưu ý.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Kỹ sư máy chủ/kỹ sư dữ liệu xử lý dữ liệu quy mô lớn trong thực tế công việc

  • Lập trình viên muốn tích lũy kinh nghiệm thiết kế và vận hành quy trình dữ liệu

  • Nhân sự phụ trách kỹ thuật tại các doanh nghiệp đang muốn triển khai hoặc nâng cao Airflow

  • Kiến trúc sư quan tâm đến xử lý phân tán và tự động hóa quy trình làm việc

  • Trưởng nhóm/lập trình viên cấp cao muốn xây dựng một nền tảng dữ liệu ổn định trong môi trường production

Xin chào
Đây là Hong

Xác minh Inflearn

Xác minh sự nghiệp

10,237

Học viên

609

Đánh giá

175

Trả lời

4.8

Xếp hạng

30

Các khóa học

Tôi bắt đầu học lập trình sau một thời gian dài lười biếng ở nhà và cảm thấy hứng thú với nó, hiện tại tôi đang đảm nhận việc phát triển máy chủ nền tảng (platform server) tại Pangyo. Tôi tiếp tục hoạt động với tư cách là người chia sẻ kiến thức vì muốn cung cấp cho các bạn phương pháp tôi đã học cũng như những vấn đề và giải pháp khác nhau mà các bạn có thể gặp phải trong thực tế.

 

Bài giảng không chỉ được tạo ra từ kiến thức của riêng tôi. Mọi bài giảng đều có sự đồng hành của những người cộng sự.

 

[Kinh nghiệm của người chia sẻ kiến thức]

[Cựu] Nhà phát triển blockchain liên quan đến Sandbox IP

[Cựu] Nhà phát triển Backend Metaverse

[Hiện tại] Nhà phát triển server đang làm việc lâu năm tại Pangyo

 

[Lịch sử phỏng vấn]

[Yêu cầu khác]

[Trang web chính thức]

Thêm

Chương trình giảng dạy

Tất cả

29 bài giảng ∙ (4giờ 39phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

20 đánh giá

4.7

20 đánh giá

  • dellahong님의 프로필 이미지
    dellahong

    Đánh giá 1

    ∙

    Đánh giá trung bình 5.0

    5

    62% đã tham gia

    Tôi đã sử dụng Airflow được 3 năm rồi, nhưng khi quy mô xử lý dữ liệu ngày càng lớn thì bắt đầu xảy ra lỗi thường xuyên, nên tôi tò mò không biết các công ty khác sử dụng theo cách nào mà đăng ký khóa học này. Thực sự rất hữu ích! Có cả khái niệm và thực hành Airflow theo hướng thực tế nên rất giúp ích cho việc hiểu và áp dụng :)

    • jhong
      Giảng viên

      dellahong cảm ơn bạn đã đánh giá tốt. Được người làm thực tế đánh giá thì càng ý nghĩa hơn, tôi sẽ cố gắng hơn nữa trong tương lai!

  • miaaade9585868님의 프로필 이미지
    miaaade9585868

    Đánh giá 9

    ∙

    Đánh giá trung bình 5.0

    5

    93% đã tham gia

    Tôi chưa thể áp dụng thực tế, nhưng tôi nghĩ đây là một khóa học tốt để học về quan điểm xử lý batch dung lượng lớn. Tôi đã xem khóa học rất hay.

    • jhong
      Giảng viên

      Xin chào a mi, cảm ơn bạn đã để lại đánh giá tốt!! Tôi sẽ cố gắng để có thể cung cấp những bài giảng tốt hơn nữa trong tương lai. Chúc bạn có một ngày tốt lành!

  • youngba8935643님의 프로필 이미지
    youngba8935643

    Đánh giá 10

    ∙

    Đánh giá trung bình 5.0

    5

    100% đã tham gia

    Tôi nghĩ đây là một bài giảng ý nghĩa đã giới thiệu cho tôi nhiều khái niệm đa dạng từ những góc nhìn mà lần đầu tiên tôi được thấy và trước đây không thể nhìn thấy. Nội dung bản thân nó thì... làm sao nhỉ, có vẻ như là nội dung đã mở rộng tầm nhìn của tôi. Cảm ơn rất nhiều vì bài giảng hay. Tenbagger!

    • jhong
      Giảng viên

      Xin chào bạn 텐버거! Cảm ơn bạn đã để lại đánh giá tốt!! Tôi sẽ cố gắng cung cấp nội dung tốt hơn nữa trong tương lai!!

  • tttos님의 프로필 이미지
    tttos

    Đánh giá 8

    ∙

    Đánh giá trung bình 5.0

    5

    93% đã tham gia

    Lần này tôi là một developer đang phát triển tại Toss, cùng chuẩn bị khóa học với chủ đề về Airflow - có thể nói là bông hoa của batch processing. Dù dịch vụ Airflow có thể khá xa lạ với nhiều người, nhưng khi dịch vụ trở nên lớn mạnh thì những workflow service như thế này sẽ cực kỳ hữu ích. Bởi vì đây là dịch vụ được ưu tiên xem xét hàng đầu trong việc xử lý batch processing quy mô lớn. Ngay cả khi các bạn hiện tại chưa cần thiết phải học Airflow, thì những quan điểm và khái niệm đa dạng mà khóa học này truyền đạt chắc chắn sẽ hữu ích cho môi trường phát triển và học tập của các bạn. Vì tôi không nghĩ đây chỉ đơn thuần là một khóa học chỉ dạy về Airflow. Mong các bạn quan tâm nhiều và cũng mong các bạn hãy chờ đợi khóa học tiếp theo. Cảm ơn các bạn!!

    • jhong
      Giảng viên

      💜

  • ho6227574978님의 프로필 이미지
    ho6227574978

    Đánh giá 9

    ∙

    Đánh giá trung bình 5.0

    5

    90% đã tham gia

    Cảm ơn bạn về khóa học tuyệt vời. Tôi nghĩ đây là lần đầu tiên tôi thấy người chia sẻ sử dụng ngôn ngữ khác ngoài Spring, Java trong các khóa học của mình. Dù vậy tôi đã xem rất tốt mà không có phần nào khó chịu, và tôi nghĩ nếu biết ngôn ngữ python thì sẽ tốt hơn để xem, nhưng nếu đơn giản chỉ muốn sử dụng và test Airflow và nói nhanh là muốn nếm thử thì có vẻ như là khóa học không nhất thiết phải biết cũng được. Lần này cũng thực sự cảm ơn rất nhiều về khóa học quá tuyệt vời và người chia sẻ cũng ngày càng phát triển kỹ năng giảng dạy và theo đó tôi cũng cảm thấy mình cùng phát triển nên rất tự hào 😊😊 Lần sau cũng xin nhờ chủ đề hay và tốt nhé!

    • jhong
      Giảng viên

      Xin chào Jios Ho, cảm ơn bạn đã để lại đánh giá. Gần đây có vẻ như các rào cản về ngôn ngữ đang giảm dần. Vì vậy lần này tôi đã chuẩn bị một khóa học có đặc điểm riêng biệt. Cảm ơn bạn!

Khóa học khác của Hong

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!