Kafka & Spark 활용한 Realtime Datalake
김현진
초보자를 위한 Kafka & Spark 실시간 파이프라인 입문 강의. 핵심 개념부터 아키텍처까지 마스터하기 위한 올인원 강의입니다.
初級
Kafka, Apache Spark, pyspark
BEST
Lớp học thành thạo Airflow
Đây là khóa học về Airflow, công cụ Orchestration giúp tạo và quản lý data pipeline hiệu quả. Chào mừng bạn đến với Airflow Master Class, nơi cả người mới bắt đầu cũng có thể học từng bước!
(4.9) 43 đánh giá
900 học viên
이론 실습 모두
데이터-엔지니어링
데이터파이프라인
airflow
Data Engineering
Python
Đánh giá từ những học viên đầu tiên
Dịch cái này sang tiếng Việt
Airflow Khái niệm và Cơ bản
Phát triển Pipeline Airflow
Gửi Email tự động với Airflow
Gọi API và trực quan hóa dữ liệu công cộng bằng Airflow
Thông báo tin nhắn sử dụng Airflow & Kakao, Slack
Sử dụng ChatGPT với Airflow
Đường ống dữ liệu, không còn lo lắng với Airflow 📊
Mọi thứ bạn cần biết về Airflow dành cho người mới bắt đầu
- Tôi nghe nói bạn sử dụng Airflow rất nhiều, nhưng Airflow là gì?
- Bạn có thể làm gì với Airflow?
- Làm thế nào để tạo đường ống với Airflow?
- Làm thế nào để tích hợp với các giải pháp khác và trích xuất và lưu trữ dữ liệu?
- Làm thế nào để tích hợp các ứng dụng nhắn tin như KakaoTalk và Slack với Airflow?
- Có thể tự động viết bài đăng trên blog bằng ChatGPT kết hợp với Airflow không?
👉 Khóa học này bao gồm mọi thứ, từ các khái niệm cơ bản về Apache Airflow cho đến cấu hình kiến trúc có thể hoạt động trong môi trường quy mô lớn.
Cập nhật hoàn tất (~Airflow 3.0)
- Giới thiệu những thay đổi về giao diện người dùng
- Gói Dag
- Phiên bản Dag
- Từ tập dữ liệu đến tài sản
- Thay đổi kiến trúc và REST API V2
Đã hoàn tất cập nhật (~Airflow 2.10.5)
- Đã thêm chức năng Thiết lập và Xóa tác vụ (phiên bản 2.6)
- Mô tả tính năng DAG Params & Giới thiệu biểu mẫu UI (phiên bản 2.6)
- Đã thêm tính năng Đường dẫn lưu trữ đối tượng (phiên bản 2.8)
- Đã thêm mô tả tính năng Ánh xạ tác vụ động & tính năng Đặt tên chỉ mục (phiên bản 2.9)
- Đã thêm Task Bash Decorator (phiên bản 2.9)
- Lưu trữ đối tượng như một Backend Xcom (phiên bản 2.9)
- Nhiều Executor (phiên bản 2.10)
- Siêu dữ liệu tập dữ liệu (phiên bản 2.10)
- Biệt danh tập dữ liệu (phiên bản 2.10)
👉 Có thể tải xuống khoảng 80 tệp thực hành từ Github .
Nhưng tại sao lại là Airflow?
Airflow là giải pháp điều phối cốt lõi giúp tạo và quản lý các đường ống dữ liệu để trích xuất, xử lý, lưu trữ và phân tích dữ liệu.
Airflow là công cụ quản lý đường ống phổ biến nhất trong số các giải pháp tương tự và việc áp dụng công cụ này ngày càng tăng.
Tôi giới thiệu khóa học này cho những người này
Bạn có thể học được gì?
Kiến thức cơ bản về luồng không khí
Bạn sẽ được học những kiến thức cơ bản về Airflow, bao gồm các khái niệm và cách tạo quy trình làm việc, thông qua thực hành. Khóa học được thiết kế để bạn có thể học từng bước với khoảng 60 tệp thực hành.
Cấu hình đường ống
Tìm hiểu cách phát triển và vận hành đường truyền DAG bằng Airflow, bao gồm gửi email bằng tính năng quản lý lịch trình.
Thu thập dữ liệu
Hãy cấu hình một đường ống tiếp nhận và lưu trữ dữ liệu thông qua API từ Cổng dữ liệu công cộng của Chính quyền đô thị Seoul.
Giám sát và Tích hợp
Chúng ta sẽ thực hành nhận các cảnh báo như thông báo lỗi và trạng thái DAG bằng cách liên kết với các ứng dụng nhắn tin như KakaoTalk và Slack.
Trực quan hóa dữ liệu
Chúng tôi giới thiệu khái niệm R Shiny, có thể được sử dụng để trực quan hóa bằng ngôn ngữ R. Chúng tôi sẽ tiến hành trực quan hóa bằng dữ liệu nhận được từ Cổng Dữ liệu Công cộng Seoul.
Ngành kiến trúc
Tìm hiểu về các phương pháp triển khai và kiến trúc khác nhau của Airflow và cách vận hành đáng tin cậy trong môi trường khối lượng lớn.
Tự động hóa kinh doanh
Giới thiệu khái niệm ChatGPT và tìm hiểu cách kết nối API Python với ChatGPT. Thực hành tự động hóa bằng cách tự động đăng lên blog của bạn nội dung được ChatGPT giới thiệu về các cổ phiếu đang tăng giá nhanh chóng thông qua phương pháp truy xuất thông tin cổ phiếu bằng Python.
Trước khi tham gia khóa học, bạn nên biết những điều sau ✨
1. Kiến thức cơ bản về Python
- Airflow tạo ra các đường ống trong Python, vì vậy bạn cần có một số kiến thức về Python.
- Tuy nhiên, nó không đòi hỏi quá nhiều kiến thức. Nếu bạn đã quen với các cú pháp điều khiển cơ bản như for, if, while, danh sách và từ điển, bạn có thể làm theo.
- Phần sau sẽ đề cập đến kế thừa lớp và các chủ đề khác, nhưng đừng quá lo lắng. Tôi sẽ giải thích mọi thứ và chuyển sang phần tiếp theo.
2. Docker và Docker Compose
- Môi trường đào tạo cơ bản là WSL trên Windows.
- Và Airflow được cài đặt bằng Docker và nhiều bài tập thực hành khác nhau được thực hiện bằng Docker Compose, do đó sẽ dễ dàng nếu bạn biết cách xử lý Docker.
- Nhưng đừng lo lắng về điều đó. Chúng tôi sẽ hướng dẫn bạn mọi thứ cần biết về Docker và cách sử dụng nó.
3. SQL
- Sẽ rất hữu ích nếu biết cú pháp SQL cơ bản (SELECT ... FROM ... WHERE).
- Chúng tôi sẽ giải thích tất cả ngữ pháp SQL thường xuất hiện trong quá trình đào tạo thực hành.
Vui lòng kiểm tra môi trường thực hành ✨
- Chúng tôi khuyên bạn nên sử dụng máy tính cá nhân hoặc máy tính xách tay có ít nhất 8GB bộ nhớ .
- Vì Airflow không thể cài đặt trực tiếp trên Windows, về cơ bản chúng ta sẽ cài đặt và thực hành Airflow bằng WSL của Windows. (Tôi sẽ giải thích toàn bộ quy trình cài đặt WSL 😊)
- Những người sử dụng macOS có thể tham gia khóa học mà không cần chuẩn bị gì đặc biệt.
Hỏi & Đáp 💬
H. Các bài giảng được tiến hành như thế nào?
Trong Airflow, quy trình làm việc được gọi là DAG , và chúng ta sẽ cùng nhau thực hành bằng cách tạo DAG. Ngoại trừ thời gian giải thích các khái niệm cơ bản, chúng ta sẽ thực hành cơ bản trong từng chương.
Nếu tệp thực hành dài, tôi sẽ tạo trước một tệp DAG và tiến hành giải thích logic.
H. Tôi có thể tải xuống các tập tin thực hành và tài liệu học tập không?
Tất nhiên rồi! Bạn có thể tải tất cả các file thực hành từ Github . Bạn chưa biết cách sử dụng Git? Chúng tôi cũng sẽ hướng dẫn bạn cách sử dụng Git.
Chúng tôi cũng cung cấp tất cả tài liệu học tập dưới dạng PDF. Bạn có thể tải xuống từ Mục 0 - Tải xuống Tài liệu Bài giảng.
H. Việc đào tạo thực tế có khó không?
Ban đầu, bạn có thể hiểu được chỉ bằng cách nắm vững ngữ pháp cơ bản của Python, nhưng khi bạn tiến đến phần sau, mức độ khó có thể hơi khó hơn một chút, vì vậy việc nắm vững các khái niệm như lớp Python và kế thừa sẽ rất hữu ích. Nhưng đừng lo lắng. Nội dung thực hành sẽ được giải thích đầy đủ và bạn sẽ tiếp tục.
H. Tôi có thể làm gì nếu học Airflow?
Bash Shell, bất cứ điều gì bạn có thể làm với Python, bạn đều có thể làm. Nếu bạn đang thắc mắc liệu có thể làm gì với Airflow, trước tiên hãy tìm hiểu xem nó có thể làm được bằng Bash Shell hay Python. Nếu bạn có thể làm được với Bash Shell hoặc Python, bạn cũng có thể làm được với Airflow.
Khuyến nghị cho
những người này
Khóa học này dành cho ai?
Muốn học về Kỹ sư dữ liệu
Ai tò mò về Airflow
Người dùng Airflow nhưng chưa tận dụng tốt.
Người cần xây dựng và quản lý pipeline dữ liệu.
Cần biết trước khi bắt đầu?
Cú pháp cơ bản Python
Cách sử dụng Docker & Docker Compose
Cú pháp SQL cơ bản (SELECT, FROM)
1,066
Học viên
54
Đánh giá
187
Trả lời
4.9
Xếp hạng
2
Các khóa học
안녕하세요.
데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.
정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.
반갑습니다. :)
Contact: hjkim_sun@naver.com
Đồng giảng viên
Chương trình giảng dạy
Tất cả
107 bài giảng ∙ (24giờ 56phút)
Tài liệu khóa học:
Tài liệu bài giảng
Ngày đăng:
Cập nhật lần cuối:
Đánh giá
Tất cả
43 đánh giá
4.9
43 đánh giá
이동준Đánh giá 1
∙
Đánh giá trung bình 5.0
5
13% đã tham gia주위에 데이터 엔지니어 공부를 처음 시작한 사람이 있다면 무조건 추천해주고싶습니다. (비전공자 입장에서) 데이터 엔지니어 공부를 시작할때 git도 알아야하고 리눅스도 알아야하고, 파이썬도 알아야하고 airflow도 알면 좋다는데 각각 얼만큼 알아야하는지 몰라 혼란에 빠진 시간이 길었습니다. 이번 강의를 들으면서 airflow에 필요한 git과 리눅스의 기초도 어느정도 배우게 되어 좋았고, 또 이후 DAG 실습도 풍부하다고 알고있어서 꽤 기대가 됩니다. 열심히 마저 수강해서 제목대로 airflow 마스터 하도록하겠습니다! 이후에도 데이터 엔지니어 강의 출시해주시면 꼭 듣고 싶습니다!
그리고 정말 사소한 부분도 친절히 설명해주셔서 너무 좋습니다. 여태 들어왔던 강의중에 가장 만족합니다 !
- 김현진Giảng viên
안녕하세요 dj961024님 감동의 수강평 감사합니다 ^_^ 뭐든지 그렇겠지만 기본 원리 이해가 제일 중요하다고 믿는 사람으로써 어떻게 하면 개념을 쉽게 이해할 수 있을까 고민을 많이했습니다. 덕분에 도움이 많이 되셨다니 너무 기쁘네요. 수강 중 궁금하신 것 있으면 언제든지 문의해주시고 계속 열공하시길 바래요 !
- Byung-ryul Kim
Đánh giá 2
∙
Đánh giá trung bình 5.0
5
100% đã tham giaAirflow 초급 과정이지만 깊이 있게 알려 주셔서 많은 도움이 되었습니다. 감사합니다.
- 김현진Giảng viên
Buing-ryul 님 후기 감사드립니다. 도움이 많이 되셨다니 저도 기분이 좋네요 ^^ 현업에서도 잘 쓰시기를 바라겠습니다.
3.049.209 ₫
Khóa học khác của hyunjinkim
Hãy khám phá các khóa học khác của giảng viên!
Khóa học tương tự
Khám phá các khóa học khác trong cùng lĩnh vực!
![[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)講義サムネイル](https://cdn.inflearn.com/public/courses/324183/cover/fbe9f0cc-4c42-4435-b855-f283f6932415/324183.png?f=avif&w=420)