Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
BEST
Data Science

/

Data Engineering

Apache Airflow cùng với các kỹ sư Thung lũng Silicon

Bạn sẽ được học Apache Airflow, công cụ Orchestrator được sử dụng nhiều nhất khi tạo đường ống dữ liệu phần mềm.

(4.6) 42 đánh giá

548 học viên

  • altoformula
3시간 만에 완강할 수 있는 강의 ⏰
빅데이터
데이터 엔지니어링
apache-airflow
docker
airflow
Big Data
Data Engineering
Python

Đánh giá từ những học viên đầu tiên

Dịch cái này sang tiếng Việt

  • Xây dựng đường ống dữ liệu

  • Luồng khí Apache

  • Giới thiệu Apache Spark

  • Giới thiệu MinIO

  • API luồng tác vụ

  • Tích hợp Slack

Công cụ đường truyền dữ liệu cần thiết, Airflow
Học hỏi từ các nhà phát triển ở Thung lũng Silicon! 🔥

Quản lý quy trình làm việc dữ liệu hiện đại,
Với luồng không khí Apache

Công cụ quản lý quy trình làm việc được sử dụng rộng rãi nhất trong lĩnh vực này: Apache Airflow

Tìm hiểu các cài đặt đơn giản và cách sử dụng Airflow. Hãy để chúng tôi hướng dẫn bạn tạo quy trình làm việc dữ liệu đầu tiên.

Bỏ lại những khái niệm phức tạp và bước vào thế giới hấp dẫn của Airflow!

Khi các nhiệm vụ phân tích và xử lý dữ liệu trở nên phức tạp hơn , các vấn đề như lập kế hoạch nhiệm vụ, quản lý phụ thuộc và xử lý lỗi trở nên quan trọng hơn. Để giải quyết hiệu quả những thách thức này, Airflow là một trong những công cụ chính được nhiều tổ chức lựa chọn.

Bài giảng này đã được chuẩn bị trước cho những người mới làm quen với Airflow. Apache Airflow rất phổ biến ở Thung lũng Silicon. Tôi sẽ giúp bạn bắt đầu một cách đơn giản và dễ dàng.

Tại sao tôi nên học Apache Airflow?

Quản lý quy trình làm việc tự động

Airflow cung cấp các tính năng lập lịch mạnh mẽ cho phép bạn tự động chạy và quản lý các tác vụ theo thời gian. Nhiệm vụ xử lý dữ liệu có thể được lập kế hoạch và thực hiện hiệu quả hơn.

Quản lý phụ thuộc

Quy trình làm việc dữ liệu phức tạp yêu cầu quản lý chính xác sự phụ thuộc giữa các tác vụ. Luồng khí cung cấp khả năng xác định rõ ràng sự phụ thuộc giữa các tác vụ và chỉ định thứ tự giữa các tác vụ.

Giám sát và thông báo mạnh mẽ

Trong khi công việc của bạn đang chạy, bạn có thể theo dõi tiến trình của nó thông qua bảng điều khiển Airflow. Ngoài ra, nếu một tác vụ không thành công hoặc xảy ra sự cố, bạn có thể phản hồi nhanh chóng thông qua các thông báo bạn đặt.

Khả năng mở rộng và linh hoạt

Airflow hỗ trợ nhiều plugin và thư viện. Nó có thể được tích hợp với nhiều kho dữ liệu, môi trường thực thi tác vụ và cơ chế thông báo khác nhau. Xây dựng quy trình làm việc tùy chỉnh để phù hợp với nhu cầu của bạn.

Cộng đồng và hệ sinh thái

Airflow có một cộng đồng sôi động và hệ sinh thái phong phú. Vì vậy, có rất nhiều tài nguyên tuyệt vời có thể giúp bạn giải quyết vấn đề của mình.


Tính năng bài giảng ✨

✅ Dễ dàng mà không có khái niệm khó! Chúng tôi giải thích Airflow là gì và tại sao nó lại cần thiết thông qua các ví dụ và ví dụ tương tự .

Một bài giảng thực hành trong đó bạn theo dõi quy trình sử dụng Airflow thực tế và tạo quy trình làm việc dữ liệu đơn giản!

Trong quá trình giảng có thắc mắc hoặc chưa hiểu gì vui lòng đặt câu hỏi bất cứ lúc nào. Tìm hiểu với phần Hỏi & Đáp !


Bạn học được gì 📚

  • Tất cả tài liệu khóa học đều bằng tiếng Anh. Bản thân bài giảng được thực hiện bằng tiếng Hàn và đã được chuẩn bị để tạo điều kiện thuận lợi cho việc làm ở nước ngoài trong tương lai.
  • Chúng tôi cung cấp tài liệu bài giảng PDF và mã Github.
Tổng quan về kiến ​​trúc phần mềm đám mây
Giới thiệu về Trình soạn thảo đường ống dữ liệu
Giới thiệu về luồng không khí Apache
Giới thiệu các thành phần quan trọng của Apache Airflow
Giới thiệu chi tiết từng thành phần
Phân tích chi tiết mã của bạn

Chúng tôi cung cấp bí quyết của các kỹ sư hiện tại ở Thung lũng Silicon!

Tôi hiện là kỹ sư phần mềm, người điều hành kênh YouTube “ American Engineer ” và kênh bữa sáng muộn “ Tin tức và cuộc sống ở Thung lũng Silicon ”. Hiện tại, tôi đã tốt nghiệp EECS, Đại học California, Berkeley và đang làm việc về dữ liệu lớn tại trụ sở của một công ty công nghệ lớn toàn cầu ở Thung lũng Silicon, Hoa Kỳ. Tôi muốn truyền đạt những bí quyết tôi đã học được từ công việc thực tế của mình cho nhiều người. 🙂


Nếu bạn là những người này
Hãy bắt đầu ngay bây giờ.

💡

kỹ sư dữ liệu

Duy trì chất lượng và tính nhất quán của dữ liệu bằng cách tự động hóa và lên lịch các luồng công việc dữ liệu.

💡

nhà phân tích dữ liệu

Xử lý các cập nhật dữ liệu thường xuyên hoặc các nhiệm vụ đào tạo lại mô hình .

💡

nhà khoa học dữ liệu

Quản lý hiệu quả quy trình khoa học dữ liệu của bạn bằng cách tự động hóa việc đào tạo mô hình, đánh giá, dự đoán hàng loạt, v.v.

💡

quản trị viên hệ thống

Tăng tính minh bạch và độ tin cậy của việc thực hiện nhiệm vụ.

💡

Nhóm kỹ thuật và phát triển dữ liệu

Bạn có thể triển khai nhiều tác vụ tự động hóa khác nhau, bao gồm các tác vụ ETL (Trích xuất, Chuyển đổi, Tải) và lệnh gọi API .

💡

quản lý dự án

Bạn có thể điều chỉnh lịch trình dự án của mình một cách hiệu quả bằng cách đặt các yếu tố phụ thuộc, mức độ ưu tiên và thời gian thực hiện dự kiến ​​của nhiệm vụ.


Câu hỏi dự kiến ​​Hỏi đáp 💬

Câu hỏi: Tại sao tôi nên học Apache Airflow?

Apache Airflow là một công cụ quản lý quy trình làm việc dữ liệu được sử dụng để tự động hóa, lên lịch và giám sát các đường ống dữ liệu. Điều này cho phép quản lý quy trình làm việc dữ liệu hiệu quả ở nhiều vai trò khác nhau như kỹ sư dữ liệu, nhà khoa học dữ liệu và quản trị viên hệ thống.

Trong nửa sau của bài giảng, bạn có thể tìm hiểu về tích hợp với công nghệ dữ liệu lớn (Apache Spark), vì vậy nó sẽ giúp ích rất nhiều cho bạn nếu bạn là kỹ sư dữ liệu quản lý nhiều đường ống.

Q. Đây có phải là khóa học mà những người không chuyên cũng có thể tham gia không?

Nếu bạn là người không chuyên nhưng biết kiến ​​​​thức cơ bản về Python và muốn hợp lý hóa quy trình lập kế hoạch cho dữ liệu hoặc tác vụ, thì điều này sẽ giúp ích rất nhiều.

Nếu bạn chưa quen với Python, hãy tìm hiểu những điều cơ bản về Python thông qua YouTube hoặc xem bài giảng bên dưới trước! Ngay cả khi bạn chỉ xem những điều cơ bản, bạn sẽ không gặp khó khăn gì khi theo dõi toàn bộ bài giảng.

Q. Tôi có cần chuẩn bị gì trước khi tham gia bài giảng không?

Vì tôi viết mã bằng Python nên tôi không giảng về Python cơ bản. Ngoài ra, vì nó bao gồm các bài tập sử dụng Docker nên sẽ dễ hiểu hơn nếu bạn có kiến ​​thức cơ bản về Docker.


Những lưu ý trước khi tham gia khóa học 📢

Môi trường phòng thí nghiệm

  • Hệ điều hành và phiên bản (OS)
    • Khóa học được giảng dạy trên MacOS, nhưng bạn có thể thực hành trên bất kỳ hệ điều hành nào có Python (Bản thân Airflow là một thư viện Python).
  • công cụ được sử dụng
    • Python 3.7+
    • Airflow được Apache cấp phép nên nó miễn phí.
  • Thông số kỹ thuật máy tính
    • CPU: 2 lõi trở lên
    • Bộ nhớ: 4GB trở lên
    • Đĩa: 10GB trở lên

Kiến thức và biện pháp phòng ngừa của người chơi

  • Cần có kiến ​​thức cơ bản về Python và Docker và môi trường cho bài giảng này được đặt thành Docker. Nếu bạn muốn tìm hiểu thêm về Docker, tôi khuyên bạn nên xem khóa học Docker miễn phí của tôi. Link bài giảng: [ https://inf.run/8eFCL ]
  • Nếu bạn có bất kỳ câu hỏi nào, xin vui lòng. Tuy nhiên, vì tôi ở miền Tây Hoa Kỳ nên có thể mất một thời gian để phản hồi.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Bạn đang làm việc trong lĩnh vực kỹ thuật dữ liệu

  • 데이터 kỹ sư muốn trở thành

Cần biết trước khi bắt đầu?

  • Python

Xin chào
Đây là

10,379

Học viên

698

Đánh giá

306

Trả lời

4.8

Xếp hạng

25

Các khóa học

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

Chương trình giảng dạy

Tất cả

32 bài giảng ∙ (4giờ 8phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

42 đánh giá

4.6

42 đánh giá

  • galoistheory6041님의 프로필 이미지
    galoistheory6041

    Đánh giá 16

    Đánh giá trung bình 5.0

    5

    31% đã tham gia

    Good.

    • altoformula
      Giảng viên

      Hello pdy, Thank you for taking the time to give such a good review.

  • dscoverskku1150님의 프로필 이미지
    dscoverskku1150

    Đánh giá 2

    Đánh giá trung bình 5.0

    5

    100% đã tham gia

    • altoformula
      Giảng viên

      Hello dscover.skku, Thank you for taking the time to give us a good review.

  • dduck10197177님의 프로필 이미지
    dduck10197177

    Đánh giá 1

    Đánh giá trung bình 5.0

    5

    63% đã tham gia

    • altoformula
      Giảng viên

      Hello, Gwanhyeong Lee, Thank you for taking the time to give a good review.

  • sewontheplash5051님의 프로필 이미지
    sewontheplash5051

    Đánh giá 2

    Đánh giá trung bình 5.0

    5

    31% đã tham gia

    Having previously taken the Spark course, I'm now continuing with this one, and it's packed with both theory and practical exercises. It's like listening to a professor who taught exceptionally well in college. Thank you for the useful content.

    • altoformula
      Giảng viên

      Hello Ophelie, Thank you so much for taking the time for the great review. It's very rewarding!

  • wtdnrr4533님의 프로필 이미지
    wtdnrr4533

    Đánh giá 1

    Đánh giá trung bình 5.0

    5

    31% đã tham gia

    • altoformula
      Giảng viên

      Hello wtdnrr, Thank you for taking the time to leave a good score.

1.402.898 ₫

Khóa học khác của altoformula

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!