inflearn logo

Mô hình thiết kế xử lý dữ liệu lớn dựa trên Data Workflow Management cùng với các nhà phát triển Toss

Học tập quy trình xây dựng đường ống dữ liệu (data pipeline) sử dụng Apache Airflow từ cơ bản đến thực tế. Hiểu rõ các khái niệm cốt lõi và kiến trúc của Airflow, đồng thời thông qua thực hành để nắm vững các mẫu thiết kế nâng cao thường được sử dụng trong thực tế như DAG động, xử lý song song, xử lý phân tán và Custom Operator. Xây dựng môi trường thực hành với Python và Docker, từ đó nuôi dưỡng năng lực thực chiến để thiết kế và vận hành các luồng công việc (workflow) thực tế.

(4.7) 19 đánh giá

216 học viên

Độ khó Cơ bản

Thời gian Không giới hạn

Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow
Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow

Đánh giá từ những học viên đầu tiên

4.7

5.0

미래 1인 개발자

93% đã tham gia

Lần này tôi là một developer đang phát triển tại Toss, cùng chuẩn bị khóa học với chủ đề về Airflow - có thể nói là bông hoa của batch processing. Dù dịch vụ Airflow có thể khá xa lạ với nhiều người, nhưng khi dịch vụ trở nên lớn mạnh thì những workflow service như thế này sẽ cực kỳ hữu ích. Bởi vì đây là dịch vụ được ưu tiên xem xét hàng đầu trong việc xử lý batch processing quy mô lớn. Ngay cả khi các bạn hiện tại chưa cần thiết phải học Airflow, thì những quan điểm và khái niệm đa dạng mà khóa học này truyền đạt chắc chắn sẽ hữu ích cho môi trường phát triển và học tập của các bạn. Vì tôi không nghĩ đây chỉ đơn thuần là một khóa học chỉ dạy về Airflow. Mong các bạn quan tâm nhiều và cũng mong các bạn hãy chờ đợi khóa học tiếp theo. Cảm ơn các bạn!!

5.0

dellahong

62% đã tham gia

Tôi đã sử dụng Airflow được 3 năm rồi, nhưng khi quy mô xử lý dữ liệu ngày càng lớn thì bắt đầu xảy ra lỗi thường xuyên, nên tôi tò mò không biết các công ty khác sử dụng theo cách nào mà đăng ký khóa học này. Thực sự rất hữu ích! Có cả khái niệm và thực hành Airflow theo hướng thực tế nên rất giúp ích cho việc hiểu và áp dụng :)

5.0

텐버거!

100% đã tham gia

Tôi nghĩ đây là một bài giảng ý nghĩa đã giới thiệu cho tôi nhiều khái niệm đa dạng từ những góc nhìn mà lần đầu tiên tôi được thấy và trước đây không thể nhìn thấy. Nội dung bản thân nó thì... làm sao nhỉ, có vẻ như là nội dung đã mở rộng tầm nhìn của tôi. Cảm ơn rất nhiều vì bài giảng hay. Tenbagger!

Bạn sẽ nhận được điều này sau khi học.

  • Hiểu về khái niệm và sự cần thiết của Apache Airflow

  • Tìm hiểu cấu trúc các thành phần cốt lõi của Airflow

  • Phương pháp thiết kế DAG động (Dynamic DAG)

  • TaskGroup và các mô hình quản lý phụ thuộc

  • Chiến lược xử lý song song và xử lý lại dữ liệu lớn

  • Custom Operator và việc ứng dụng đóng gói (encapsulation), decorator tương ứng

  • Xây dựng môi trường thực hành dựa trên Python & Docker

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Kỹ sư máy chủ/dữ liệu xử lý dữ liệu quy mô lớn trong thực tế

  • Nhà phát triển muốn tích lũy kinh nghiệm thiết kế và vận hành đường ống dữ liệu (data pipeline)

  • Người phụ trách kỹ thuật của các doanh nghiệp đang có ý định áp dụng hoặc nâng cao hệ thống Airflow

  • Kiến trúc sư quan tâm đến xử lý phân tán và tự động hóa quy trình làm việc

  • Trưởng nhóm/Nhà phát triển cấp cao muốn xây dựng một nền tảng dữ liệu ổn định trong môi trường production

Xin chào
Đây là Hong

Xác minh Inflearn

Xác minh sự nghiệp

9,258

Học viên

593

Đánh giá

165

Trả lời

4.8

Xếp hạng

31

Các khóa học

Tôi bắt đầu học lập trình sau một thời gian dài lười biếng ở nhà và cảm thấy hứng thú với nó, hiện tại tôi đang đảm nhận việc phát triển máy chủ nền tảng (platform server) tại Pangyo. Tôi tiếp tục hoạt động với tư cách là người chia sẻ kiến thức vì muốn cung cấp cho các bạn phương pháp tôi đã học cũng như những vấn đề và giải pháp khác nhau mà các bạn có thể gặp phải trong thực tế.

 

Bài giảng không chỉ được tạo ra từ kiến thức của riêng tôi. Mọi bài giảng đều có sự đồng hành của những người cộng sự.

 

[Kinh nghiệm của người chia sẻ kiến thức]

[Cựu] Nhà phát triển blockchain liên quan đến Sandbox IP

[Cựu] Nhà phát triển Backend Metaverse

[Hiện tại] Nhà phát triển server đang làm việc lâu năm tại Pangyo

 

[Lịch sử phỏng vấn]

[Yêu cầu khác]

[Trang web chính thức]

Thêm

Chương trình giảng dạy

Tất cả

29 bài giảng ∙ (4giờ 39phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

19 đánh giá

4.7

19 đánh giá

  • ho6227574978님의 프로필 이미지
    ho6227574978

    Đánh giá 9

    Đánh giá trung bình 5.0

    5

    90% đã tham gia

    Cảm ơn bạn về khóa học tuyệt vời. Tôi nghĩ đây là lần đầu tiên tôi thấy người chia sẻ sử dụng ngôn ngữ khác ngoài Spring, Java trong các khóa học của mình. Dù vậy tôi đã xem rất tốt mà không có phần nào khó chịu, và tôi nghĩ nếu biết ngôn ngữ python thì sẽ tốt hơn để xem, nhưng nếu đơn giản chỉ muốn sử dụng và test Airflow và nói nhanh là muốn nếm thử thì có vẻ như là khóa học không nhất thiết phải biết cũng được. Lần này cũng thực sự cảm ơn rất nhiều về khóa học quá tuyệt vời và người chia sẻ cũng ngày càng phát triển kỹ năng giảng dạy và theo đó tôi cũng cảm thấy mình cùng phát triển nên rất tự hào 😊😊 Lần sau cũng xin nhờ chủ đề hay và tốt nhé!

    • jhong
      Giảng viên

      Xin chào Jios Ho, cảm ơn bạn đã để lại đánh giá. Gần đây có vẻ như các rào cản về ngôn ngữ đang giảm dần. Vì vậy lần này tôi đã chuẩn bị một khóa học có đặc điểm riêng biệt. Cảm ơn bạn!

  • dellahong님의 프로필 이미지
    dellahong

    Đánh giá 1

    Đánh giá trung bình 5.0

    5

    62% đã tham gia

    Tôi đã sử dụng Airflow được 3 năm rồi, nhưng khi quy mô xử lý dữ liệu ngày càng lớn thì bắt đầu xảy ra lỗi thường xuyên, nên tôi tò mò không biết các công ty khác sử dụng theo cách nào mà đăng ký khóa học này. Thực sự rất hữu ích! Có cả khái niệm và thực hành Airflow theo hướng thực tế nên rất giúp ích cho việc hiểu và áp dụng :)

    • jhong
      Giảng viên

      dellahong cảm ơn bạn đã đánh giá tốt. Được người làm thực tế đánh giá thì càng ý nghĩa hơn, tôi sẽ cố gắng hơn nữa trong tương lai!

  • youngba8935643님의 프로필 이미지
    youngba8935643

    Đánh giá 10

    Đánh giá trung bình 5.0

    5

    100% đã tham gia

    Tôi nghĩ đây là một bài giảng ý nghĩa đã giới thiệu cho tôi nhiều khái niệm đa dạng từ những góc nhìn mà lần đầu tiên tôi được thấy và trước đây không thể nhìn thấy. Nội dung bản thân nó thì... làm sao nhỉ, có vẻ như là nội dung đã mở rộng tầm nhìn của tôi. Cảm ơn rất nhiều vì bài giảng hay. Tenbagger!

    • jhong
      Giảng viên

      Xin chào bạn 텐버거! Cảm ơn bạn đã để lại đánh giá tốt!! Tôi sẽ cố gắng cung cấp nội dung tốt hơn nữa trong tương lai!!

  • tttos님의 프로필 이미지
    tttos

    Đánh giá 8

    Đánh giá trung bình 5.0

    5

    93% đã tham gia

    Lần này tôi là một developer đang phát triển tại Toss, cùng chuẩn bị khóa học với chủ đề về Airflow - có thể nói là bông hoa của batch processing. Dù dịch vụ Airflow có thể khá xa lạ với nhiều người, nhưng khi dịch vụ trở nên lớn mạnh thì những workflow service như thế này sẽ cực kỳ hữu ích. Bởi vì đây là dịch vụ được ưu tiên xem xét hàng đầu trong việc xử lý batch processing quy mô lớn. Ngay cả khi các bạn hiện tại chưa cần thiết phải học Airflow, thì những quan điểm và khái niệm đa dạng mà khóa học này truyền đạt chắc chắn sẽ hữu ích cho môi trường phát triển và học tập của các bạn. Vì tôi không nghĩ đây chỉ đơn thuần là một khóa học chỉ dạy về Airflow. Mong các bạn quan tâm nhiều và cũng mong các bạn hãy chờ đợi khóa học tiếp theo. Cảm ơn các bạn!!

    • jhong
      Giảng viên

      💜

  • miaaade9585868님의 프로필 이미지
    miaaade9585868

    Đánh giá 9

    Đánh giá trung bình 5.0

    5

    93% đã tham gia

    Tôi chưa thể áp dụng thực tế, nhưng tôi nghĩ đây là một khóa học tốt để học về quan điểm xử lý batch dung lượng lớn. Tôi đã xem khóa học rất hay.

    • jhong
      Giảng viên

      Xin chào a mi, cảm ơn bạn đã để lại đánh giá tốt!! Tôi sẽ cố gắng để có thể cung cấp những bài giảng tốt hơn nữa trong tương lai. Chúc bạn có một ngày tốt lành!

Khóa học khác của Hong

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Giảm 25% cho thành viên mới

842.846 ₫

25%

1.123.796 ₫