Kafka & Spark được sử dụng cho Realtime Datalake
hyunjinkim
Khóa học nhập môn Pipeline thời gian thực Kafka & Spark dành cho người mới bắt đầu. Khóa học trọn gói để nắm vững từ khái niệm cốt lõi đến kiến trúc.
초급
Kafka, Apache Spark, pyspark
Đây là khóa học về Airflow, công cụ Orchestration giúp tạo và quản lý data pipeline hiệu quả. Chào mừng bạn đến với Airflow Master Class, nơi cả người mới bắt đầu cũng có thể học từng bước!
1,004 học viên

Airflow Khái niệm và Cơ bản
Phát triển Pipeline Airflow
Gửi Email tự động với Airflow
Gọi API và trực quan hóa dữ liệu công cộng bằng Airflow
Thông báo tin nhắn sử dụng Airflow & Kakao, Slack
Sử dụng ChatGPT với Airflow
Đường ống dữ liệu, không còn lo lắng với Airflow 📊
👉 Khóa học này bao gồm mọi thứ, từ các khái niệm cơ bản về Apache Airflow cho đến cấu hình kiến trúc có thể hoạt động trong môi trường quy mô lớn.
👉 Có thể tải xuống khoảng 80 tệp thực hành từ Github .
Nhưng tại sao lại là Airflow?
Airflow là giải pháp điều phối cốt lõi giúp tạo và quản lý các đường ống dữ liệu để trích xuất, xử lý, lưu trữ và phân tích dữ liệu.
Airflow là công cụ quản lý đường ống phổ biến nhất trong số các giải pháp tương tự và việc áp dụng công cụ này ngày càng tăng.
Kiến thức cơ bản về luồng không khí
Bạn sẽ được học những kiến thức cơ bản về Airflow, bao gồm các khái niệm và cách tạo quy trình làm việc, thông qua thực hành. Khóa học được thiết kế để bạn có thể học từng bước với khoảng 60 tệp thực hành.
Cấu hình đường ống
Tìm hiểu cách phát triển và vận hành đường truyền DAG bằng Airflow, bao gồm gửi email bằng tính năng quản lý lịch trình.
Thu thập dữ liệu
Hãy cấu hình một đường ống tiếp nhận và lưu trữ dữ liệu thông qua API từ Cổng dữ liệu công cộng của Chính quyền đô thị Seoul.
Giám sát và Tích hợp
Chúng ta sẽ thực hành nhận các cảnh báo như thông báo lỗi và trạng thái DAG bằng cách liên kết với các ứng dụng nhắn tin như KakaoTalk và Slack.
Trực quan hóa dữ liệu
Chúng tôi giới thiệu khái niệm R Shiny, có thể được sử dụng để trực quan hóa bằng ngôn ngữ R. Chúng tôi sẽ tiến hành trực quan hóa bằng dữ liệu nhận được từ Cổng Dữ liệu Công cộng Seoul.
Ngành kiến trúc
Tìm hiểu về các phương pháp triển khai và kiến trúc khác nhau của Airflow và cách vận hành đáng tin cậy trong môi trường khối lượng lớn.
Tự động hóa kinh doanh
Giới thiệu khái niệm ChatGPT và tìm hiểu cách kết nối API Python với ChatGPT. Thực hành tự động hóa bằng cách tự động đăng lên blog của bạn nội dung được ChatGPT giới thiệu về các cổ phiếu đang tăng giá nhanh chóng thông qua phương pháp truy xuất thông tin cổ phiếu bằng Python.
1. Kiến thức cơ bản về Python
2. Docker và Docker Compose
3. SQL
H. Các bài giảng được tiến hành như thế nào?
Trong Airflow, quy trình làm việc được gọi là DAG , và chúng ta sẽ cùng nhau thực hành bằng cách tạo DAG. Ngoại trừ thời gian giải thích các khái niệm cơ bản, chúng ta sẽ thực hành cơ bản trong từng chương.
Nếu tệp thực hành dài, tôi sẽ tạo trước một tệp DAG và tiến hành giải thích logic.
H. Tôi có thể tải xuống các tập tin thực hành và tài liệu học tập không?
Tất nhiên rồi! Bạn có thể tải tất cả các file thực hành từ Github . Bạn chưa biết cách sử dụng Git? Chúng tôi cũng sẽ hướng dẫn bạn cách sử dụng Git.
Chúng tôi cũng cung cấp tất cả tài liệu học tập dưới dạng PDF. Bạn có thể tải xuống từ Mục 0 - Tải xuống Tài liệu Bài giảng.
H. Việc đào tạo thực tế có khó không?
Ban đầu, bạn có thể hiểu được chỉ bằng cách nắm vững ngữ pháp cơ bản của Python, nhưng khi bạn tiến đến phần sau, mức độ khó có thể hơi khó hơn một chút, vì vậy việc nắm vững các khái niệm như lớp Python và kế thừa sẽ rất hữu ích. Nhưng đừng lo lắng. Nội dung thực hành sẽ được giải thích đầy đủ và bạn sẽ tiếp tục.
H. Tôi có thể làm gì nếu học Airflow?
Bash Shell, bất cứ điều gì bạn có thể làm với Python, bạn đều có thể làm. Nếu bạn đang thắc mắc liệu có thể làm gì với Airflow, trước tiên hãy tìm hiểu xem nó có thể làm được bằng Bash Shell hay Python. Nếu bạn có thể làm được với Bash Shell hoặc Python, bạn cũng có thể làm được với Airflow.
Khóa học này dành cho ai?
Muốn học về Kỹ sư dữ liệu
Ai tò mò về Airflow
Người dùng Airflow nhưng chưa tận dụng tốt.
Người cần xây dựng và quản lý pipeline dữ liệu.
Cần biết trước khi bắt đầu?
Cú pháp cơ bản Python
Cách sử dụng Docker & Docker Compose
Cú pháp SQL cơ bản (SELECT, FROM)
1,242
Học viên
81
Đánh giá
218
Trả lời
4.9
Xếp hạng
2
Các khóa học
안녕하세요.
데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.
정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.
반갑습니다. :)
Contact: hjkim_sun@naver.com
Tất cả
107 bài giảng ∙ (24giờ 56phút)
Tài liệu khóa học:
4. Cài đặt WSL
16:44
Tất cả
62 đánh giá
4.9
62 đánh giá
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
Nếu xung quanh tôi có ai mới bắt đầu học làm kỹ sư dữ liệu, tôi chắc chắn sẽ giới thiệu họ. (Từ góc nhìn của một người không chuyên) Khi tôi bắt đầu học làm kỹ sư dữ liệu, tôi được bảo rằng sẽ rất tốt nếu biết Git, Linux, Python và Airflow, nhưng tôi đã bối rối trong một thời gian dài vì tôi không biết mình cần biết bao nhiêu về mỗi thứ. . Trong khi nghe bài giảng này, thật tốt khi tìm hiểu một số kiến thức cơ bản về git và Linux cần thiết cho luồng không khí. Tôi cũng biết rằng sẽ có rất nhiều hoạt động thực hành DAG trong tương lai, vì vậy tôi khá mong chờ nó. Tôi sẽ nghiên cứu chăm chỉ và làm chủ luồng không khí như tiêu đề gợi ý! Nếu bạn phát hành một khóa học kỹ sư dữ liệu trong tương lai, tôi chắc chắn sẽ muốn nghe nó!
Và tôi thực sự thích cách bạn vui lòng giải thích ngay cả những chi tiết nhỏ nhất. Tôi hài lòng nhất với những bài giảng tôi từng tham gia!
Xin chào dj961024 Cảm ơn đánh giá cảm động của bạn ^_^ Là người tin rằng việc hiểu các nguyên tắc cơ bản là quan trọng nhất, Tôi đã suy nghĩ rất nhiều về cách làm cho khái niệm này dễ hiểu hơn. Tôi rất vui vì nó đã giúp bạn rất nhiều. Nếu bạn có bất kỳ câu hỏi nào trong khi tham gia khóa học, vui lòng liên hệ với chúng tôi và tiếp tục nỗ lực!
Đánh giá 10
∙
Đánh giá trung bình 5.0
5
Đó là một khóa học cần thiết và tôi hài lòng! Các tính năng mới được thêm vào luồng khi phiên bản được nâng cấp, vì vậy tôi sẽ đánh giá cao nếu bạn cũng có thể cập nhật các tính năng đó.
Cảm ơn bạn đã xem xét mọi thứx. Hiện có một khóa học đang được sản xuất và sau khi quá trình sản xuất hoàn tất, chúng tôi dự định nâng cấp luồng không khí với trọng tâm là các tính năng mới. Mình là nhân viên văn phòng nên không có nhiều thời gian rảnh nên sẽ không sớm nhưng mình sẽ nhớ cập nhật. Cảm ơn lời đề nghị của bạn ^^
Đánh giá 2
∙
Đánh giá trung bình 5.0
5
Mặc dù đây là khóa học dành cho người mới bắt đầu về Airflow nhưng thông tin chuyên sâu rất hữu ích. Cảm ơn
Buing-ryul, cảm ơn bạn đã đánh giá. Mình rất vui vì nó đã giúp ích cho bạn rất nhiều ^^ Tôi hy vọng bạn cũng có thể sử dụng nó tốt trong công việc của mình.
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
bài giảng hay nhất
Xin chào Jihoon Lee Cảm ơn bạn đã đánh giá ngắn gọn nhưng mạnh mẽ. 100% đã tham gia lớp học Tôi hy vọng nó hữu ích ^^
Đánh giá 1
∙
Đánh giá trung bình 4.0
4
Tôi có thể dễ dàng hiểu được các chức năng của AIRFLOW thông qua nhiều bài tập khác nhau.
Xin chào ahn.bm Cảm ơn bạn đã đăng ký để xem lại khóa học. Có điều gì bạn chưa hài lòng không? Nếu bạn đưa ra đề xuất, chúng tôi sẽ xem xét. Tôi hy vọng điều này sẽ giúp bạn rất nhiều.
Ưu đãi có thời hạn
2.147.488 ₫
29%
3.042.275 ₫
Hãy khám phá các khóa học khác của giảng viên!
Khám phá các khóa học khác trong cùng lĩnh vực!