inflearn logo
inflearn logo

Apache Airflow cùng với các kỹ sư Thung lũng Silicon

Bạn sẽ được học Apache Airflow, công cụ Orchestrator được sử dụng nhiều nhất khi tạo đường ống dữ liệu phần mềm.

(4.6) 수강평 53개

강의소개.상단개요.수강생.short

난이도 초급

수강기한 무제한

airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python
airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python

먼저 경험한 수강생들의 후기

먼저 경험한 수강생들의 후기

4.6

5.0

chocheetah

100% 수강 후 작성

Tôi đã tham gia bài giảng này trong khi cân nhắc việc giới thiệu MWAA để tách bộ lập lịch hiện có trong công ty và quản lý lịch sử thực thi tốt hơn. Khi tôi không biết cách bắt đầu luồng khí, tôi đã viết mã, định cấu hình môi trường Docker cục bộ và tạo DAG để hiểu rõ nên sử dụng luồng nào. Quá trình tìm kiếm các phương pháp thực hành tốt nhất cho từng nền tảng trong môi trường vận hành sẽ không hề dễ dàng, nhưng tôi nghĩ rằng tôi đã có được kiến ​​thức cơ bản cho phép tôi thử nghiệm nhiều thứ khác nhau bằng cách đọc các tài liệu chính thức. Cảm ơn

5.0

ground

35% 수강 후 작성

Tôi nghĩ đây là khóa học sẽ dạy cho bạn những công cụ mà kỹ sư dữ liệu sử dụng và những công cụ đó làm gì. Hãy tiếp tục chạy. Cảm ơn bạn đã luôn có những bài giảng hay.

5.0

소연

100% 수강 후 작성

Tôi đăng ký khóa học vì tôi muốn sử dụng nó hiệu quả trong công việc của mình. Tôi nghĩ nó hoàn hảo cho việc học cơ bản. Tôi thích nó tập trung vào đào tạo thực tế.

강의상세_배울수있는것_타이틀

  • Xây dựng đường ống dữ liệu

  • Luồng khí Apache

  • Giới thiệu Apache Spark

  • Giới thiệu MinIO

  • API luồng tác vụ

  • Tích hợp Slack

Công cụ đường truyền dữ liệu cần thiết, Airflow
Học hỏi từ các nhà phát triển ở Thung lũng Silicon! 🔥

Quản lý quy trình làm việc dữ liệu hiện đại,
Với luồng không khí Apache

Công cụ quản lý quy trình làm việc được sử dụng rộng rãi nhất trong lĩnh vực này: Apache Airflow

Tìm hiểu các cài đặt đơn giản và cách sử dụng Airflow. Hãy để chúng tôi hướng dẫn bạn tạo quy trình làm việc dữ liệu đầu tiên.

Bỏ lại những khái niệm phức tạp và bước vào thế giới hấp dẫn của Airflow!

Khi các nhiệm vụ phân tích và xử lý dữ liệu trở nên phức tạp hơn , các vấn đề như lập kế hoạch nhiệm vụ, quản lý phụ thuộc và xử lý lỗi trở nên quan trọng hơn. Để giải quyết hiệu quả những thách thức này, Airflow là một trong những công cụ chính được nhiều tổ chức lựa chọn.

Bài giảng này đã được chuẩn bị trước cho những người mới làm quen với Airflow. Apache Airflow rất phổ biến ở Thung lũng Silicon. Tôi sẽ giúp bạn bắt đầu một cách đơn giản và dễ dàng.

Tại sao tôi nên học Apache Airflow?

Quản lý quy trình làm việc tự động

Airflow cung cấp các tính năng lập lịch mạnh mẽ cho phép bạn tự động chạy và quản lý các tác vụ theo thời gian. Nhiệm vụ xử lý dữ liệu có thể được lập kế hoạch và thực hiện hiệu quả hơn.

Quản lý phụ thuộc

Quy trình làm việc dữ liệu phức tạp yêu cầu quản lý chính xác sự phụ thuộc giữa các tác vụ. Luồng khí cung cấp khả năng xác định rõ ràng sự phụ thuộc giữa các tác vụ và chỉ định thứ tự giữa các tác vụ.

Giám sát và thông báo mạnh mẽ

Trong khi công việc của bạn đang chạy, bạn có thể theo dõi tiến trình của nó thông qua bảng điều khiển Airflow. Ngoài ra, nếu một tác vụ không thành công hoặc xảy ra sự cố, bạn có thể phản hồi nhanh chóng thông qua các thông báo bạn đặt.

Khả năng mở rộng và linh hoạt

Airflow hỗ trợ nhiều plugin và thư viện. Nó có thể được tích hợp với nhiều kho dữ liệu, môi trường thực thi tác vụ và cơ chế thông báo khác nhau. Xây dựng quy trình làm việc tùy chỉnh để phù hợp với nhu cầu của bạn.

Cộng đồng và hệ sinh thái

Airflow có một cộng đồng sôi động và hệ sinh thái phong phú. Vì vậy, có rất nhiều tài nguyên tuyệt vời có thể giúp bạn giải quyết vấn đề của mình.


Tính năng bài giảng ✨

✅ Dễ dàng mà không có khái niệm khó! Chúng tôi giải thích Airflow là gì và tại sao nó lại cần thiết thông qua các ví dụ và ví dụ tương tự .

Một bài giảng thực hành trong đó bạn theo dõi quy trình sử dụng Airflow thực tế và tạo quy trình làm việc dữ liệu đơn giản!

Trong quá trình giảng có thắc mắc hoặc chưa hiểu gì vui lòng đặt câu hỏi bất cứ lúc nào. Tìm hiểu với phần Hỏi & Đáp !


Bạn học được gì 📚

  • Tất cả tài liệu khóa học đều bằng tiếng Anh. Bản thân bài giảng được thực hiện bằng tiếng Hàn và đã được chuẩn bị để tạo điều kiện thuận lợi cho việc làm ở nước ngoài trong tương lai.
  • Chúng tôi cung cấp tài liệu bài giảng PDF và mã Github.
Tổng quan về kiến ​​trúc phần mềm đám mây
Giới thiệu về Trình soạn thảo đường ống dữ liệu
Giới thiệu về luồng không khí Apache
Giới thiệu các thành phần quan trọng của Apache Airflow
Giới thiệu chi tiết từng thành phần
Phân tích chi tiết mã của bạn

Chúng tôi cung cấp bí quyết của các kỹ sư hiện tại ở Thung lũng Silicon!

Tôi hiện là kỹ sư phần mềm, người điều hành kênh YouTube “ American Engineer ” và kênh bữa sáng muộn “ Tin tức và cuộc sống ở Thung lũng Silicon ”. Hiện tại, tôi đã tốt nghiệp EECS, Đại học California, Berkeley và đang làm việc về dữ liệu lớn tại trụ sở của một công ty công nghệ lớn toàn cầu ở Thung lũng Silicon, Hoa Kỳ. Tôi muốn truyền đạt những bí quyết tôi đã học được từ công việc thực tế của mình cho nhiều người. 🙂


Nếu bạn là những người này
Hãy bắt đầu ngay bây giờ.

💡

kỹ sư dữ liệu

Duy trì chất lượng và tính nhất quán của dữ liệu bằng cách tự động hóa và lên lịch các luồng công việc dữ liệu.

💡

nhà phân tích dữ liệu

Xử lý các cập nhật dữ liệu thường xuyên hoặc các nhiệm vụ đào tạo lại mô hình .

💡

nhà khoa học dữ liệu

Quản lý hiệu quả quy trình khoa học dữ liệu của bạn bằng cách tự động hóa việc đào tạo mô hình, đánh giá, dự đoán hàng loạt, v.v.

💡

quản trị viên hệ thống

Tăng tính minh bạch và độ tin cậy của việc thực hiện nhiệm vụ.

💡

Nhóm kỹ thuật và phát triển dữ liệu

Bạn có thể triển khai nhiều tác vụ tự động hóa khác nhau, bao gồm các tác vụ ETL (Trích xuất, Chuyển đổi, Tải) và lệnh gọi API .

💡

quản lý dự án

Bạn có thể điều chỉnh lịch trình dự án của mình một cách hiệu quả bằng cách đặt các yếu tố phụ thuộc, mức độ ưu tiên và thời gian thực hiện dự kiến ​​của nhiệm vụ.


Câu hỏi dự kiến ​​Hỏi đáp 💬

Câu hỏi: Tại sao tôi nên học Apache Airflow?

Apache Airflow là một công cụ quản lý quy trình làm việc dữ liệu được sử dụng để tự động hóa, lên lịch và giám sát các đường ống dữ liệu. Điều này cho phép quản lý quy trình làm việc dữ liệu hiệu quả ở nhiều vai trò khác nhau như kỹ sư dữ liệu, nhà khoa học dữ liệu và quản trị viên hệ thống.

Trong nửa sau của bài giảng, bạn có thể tìm hiểu về tích hợp với công nghệ dữ liệu lớn (Apache Spark), vì vậy nó sẽ giúp ích rất nhiều cho bạn nếu bạn là kỹ sư dữ liệu quản lý nhiều đường ống.

Q. Đây có phải là khóa học mà những người không chuyên cũng có thể tham gia không?

Nếu bạn là người không chuyên nhưng biết kiến ​​​​thức cơ bản về Python và muốn hợp lý hóa quy trình lập kế hoạch cho dữ liệu hoặc tác vụ, thì điều này sẽ giúp ích rất nhiều.

Nếu bạn chưa quen với Python, hãy tìm hiểu những điều cơ bản về Python thông qua YouTube hoặc xem bài giảng bên dưới trước! Ngay cả khi bạn chỉ xem những điều cơ bản, bạn sẽ không gặp khó khăn gì khi theo dõi toàn bộ bài giảng.

Q. Tôi có cần chuẩn bị gì trước khi tham gia bài giảng không?

Vì tôi viết mã bằng Python nên tôi không giảng về Python cơ bản. Ngoài ra, vì nó bao gồm các bài tập sử dụng Docker nên sẽ dễ hiểu hơn nếu bạn có kiến ​​thức cơ bản về Docker.


Những lưu ý trước khi tham gia khóa học 📢

Môi trường phòng thí nghiệm

  • Hệ điều hành và phiên bản (OS)
    • Khóa học được giảng dạy trên MacOS, nhưng bạn có thể thực hành trên bất kỳ hệ điều hành nào có Python (Bản thân Airflow là một thư viện Python).
  • công cụ được sử dụng
    • Python 3.7+
    • Airflow được Apache cấp phép nên nó miễn phí.
  • Thông số kỹ thuật máy tính
    • CPU: 2 lõi trở lên
    • Bộ nhớ: 4GB trở lên
    • Đĩa: 10GB trở lên

Kiến thức và biện pháp phòng ngừa của người chơi

  • Cần có kiến ​​thức cơ bản về Python và Docker và môi trường cho bài giảng này được đặt thành Docker. Nếu bạn muốn tìm hiểu thêm về Docker, tôi khuyên bạn nên xem khóa học Docker miễn phí của tôi. Link bài giảng: [ https://inf.run/8eFCL ]
  • Nếu bạn có bất kỳ câu hỏi nào, xin vui lòng. Tuy nhiên, vì tôi ở miền Tây Hoa Kỳ nên có thể mất một thời gian để phản hồi.

강의소개.콘텐츠.추천문구

학습 대상은 누구일까요?

  • Bạn đang làm việc trong lĩnh vực kỹ thuật dữ liệu

  • 데이터 kỹ sư muốn trở thành

선수 지식, 필요할까요?

  • Python

강의소개.지공자소개

20,802

수강생

1,047

수강평

337

답변

4.8

강의 평점

29

강의_other

Bạn định kết thúc ở Hàn Quốc sao? Hãy dùng tiếng Anh để đột phá thị trường thế giới! 🌍🚀

Xin chào. Tôi tốt nghiệp chuyên ngành Khoa học Máy tính (EECS) tại UC Berkeley💻, đã có hơn 15 năm kinh nghiệm làm kỹ sư phần mềm tại Thung lũng Silicon, và hiện đang là Staff Software Engineer chuyên về Big Data và DevOps tại trụ sở chính của một tập đoàn Big Tech ở Thung lũng Silicon. working with Big Data and DevOps at a Big Tech headquarters in Silicon Valley.

  • 🧭 Thông qua các khóa học trực tuyến, tôi muốn chia sẻ với các bạn những công nghệ và bí quyết mà tôi đã trực tiếp học hỏi được tại nơi đổi mới của Thung lũng Silicon.

  • 🚀 Hãy cùng tôi, người đã học hỏi và trưởng thành tại nơi tiền tuyến của sự đổi mới công nghệ, nâng cao năng lực để các bạn cũng có thể cạnh tranh trên đấu trường toàn cầu!

  • 🫡 Tôi muốn nhắn nhủ với bạn rằng, dù không quá thông minh nhưng chỉ cần kiên trì và không bỏ cuộc, bạn có thể đạt được bất cứ điều gì. Tôi sẽ luôn ở bên cạnh hỗ trợ bạn với những tài liệu hữu ích nhất.

 

더보기

커리큘럼

전체

33개 ∙ (강의상세_런타임_시간 강의상세_런타임_분)

해당 강의에서 제공: [object Object]
강의 게시일: 
마지막 업데이트일: 

수강평

전체

53개

4.6

53개의 수강평

  • hgim967155182님의 프로필 이미지
    hgim967155182

    수강평 5

    평균 평점 4.8

    5

    61% 수강 후 작성

    Cách giải thích của bạn rất dễ hiểu ngay cả với người không chuyên, mình rất thích. Học Airflow thú vị quá đi mất!

    • altoformula
      지식공유자

      Chào bạn Gong16, Cảm ơn bạn đã dành thời gian để lại đánh giá tích cực. Thật mừng vì bạn thấy nội dung dễ hiểu! Rất vui khi biết bạn hài lòng với bài giảng.

  • jungmob1024님의 프로필 이미지
    jungmob1024

    수강평 6

    평균 평점 5.0

    5

    30% 수강 후 작성

    • altoformula
      지식공유자

      Chào bạn jungmob1024, Cảm ơn bạn đã dành thời gian để lại đánh giá tốt.

  • sanghyunwi8994님의 프로필 이미지
    sanghyunwi8994

    수강평 1

    평균 평점 5.0

    5

    100% 수강 후 작성

    • altoformula
      지식공유자

      Xin chào anh Wee Sang Hyun, Cảm ơn anh rất nhiều vì đã dành thời gian để để lại đánh giá tốt đẹp.

  • jhlee50877003님의 프로필 이미지
    jhlee50877003

    수강평 3

    평균 평점 5.0

    5

    30% 수강 후 작성

    • altoformula
      지식공유자

      Xin chào jhlee5087, Cảm ơn bạn đã dành thời gian học cả khóa Spark và Airflow, và để lại những đánh giá tốt đẹp.

  • paulmoon008308님의 프로필 이미지
    paulmoon008308

    수강평 111

    평균 평점 4.9

    5

    12% 수강 후 작성

    • altoformula
      지식공유자

      Xin chào Spring, Cảm ơn bạn đã dành thời gian để lại đánh giá tốt!

altoformula님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

강의상세.할인문구

49.500 ₫

25%

1.382.928 ₫