Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
NEW
Data Science

/

Data Analysis

Cùng với kỹ sư Silicon Valley học Apache Flink

Xử lý dữ liệu thời gian thực, giờ đây không còn là lựa chọn mà là điều bắt buộc! Hãy xử lý streaming thời gian thực một cách thông minh với Apache Flink. Batch? Streaming? Những khái niệm phức tạp cũng có thể hiểu được một cách dễ dàng và nhanh chóng. Cấu trúc tập trung vào thực hành để nắm bắt cảm giác thông qua việc trực tiếp thực hiện kết nối Kafka, DB! Thế giới vận hành bằng dữ liệu, hãy bắt đầu trước tiên với Flink.

68 học viên đang tham gia khóa học này

  • altoformula
백엔드이해하기
데이타정제
빅데이타
flink
Big Data
Data Engineering
data-analysis
data-transformation

Dịch cái này sang tiếng Việt

  • Sự khác biệt về khái niệm giữa streaming dữ liệu thời gian thực và xử lý theo lô

  • Hiểu về các thành phần cốt lõi và kiến trúc của Flink

  • Kafka, hệ thống tệp, thực hành tích hợp Flink

  • Windows, quản lý trạng thái, checkpoint và các tính năng thường được sử dụng trong thực tế

🚀 Cốt lõi xử lý dữ liệu thời gian thực, Nhập môn Apache Flink 2.x

  • Trong thời đại dữ liệu tràn ngập, 'xử lý thời gian thực' giờ đây không còn là lựa chọn mà là điều bắt buộc!

  • Apache Flink là vua của xử lý dữ liệu thời gian thực mà các công ty toàn cầu như Netflix, Uber, Alibaba đã đang sử dụng.


  • 🧠 Flink là gì vậy?
    Không phải micro-batch mà là thực sự real-time! Mình sẽ giải thích dễ hiểu về kiến trúc Flink và các khái niệm cốt lõi cho bạn.

  • Thời gian thực vs Batch - Cuộc đối đầu
    Nên dùng gì trong tình huống nào, hãy so sánh sự khác biệt và ưu nhược điểm của hai phương pháp này qua các ví dụ thực tế.

  • 💬 Kết hợp hoàn hảo với Kafka
    "Kafka gửi dữ liệu, Flink xử lý real-time!" Sự kết hợp này thực sự được sử dụng rất nhiều trong thực tế.

  • 🌡 Thực hành thực tế: Dự án tính toán trung bình dữ liệu cảm biến IoT
    Hãy cùng tạo trực tiếp dự án tính toán nhiệt độ trung bình theo thời gian thực với dữ liệu thực tế.
    → Bạn sẽ hiểu rõ cách Flink được sử dụng trong thực tế.

flink, big data, kỹ thuật dữ liệu, data-analysis, chuyển đổi dữ liệu

Nâng cấp với Apache Flink! Khóa học streaming thực chiến, bắt đầu ngay bây giờ! 💪

🙌 Khuyến khích cho những người như thế này

📊Có rất nhiều dữ liệu, nhưng tôi không biết phải làm gì và làm như thế nào

Nhà phát triển muốn nắm bắt luồng streaming dữ liệu thời gian thực từ đầu đến cuối

Kafka thì hiểu rồi, giờ hãy đi đến xử lý thời gian thực nào!

Những người đang nhận dữ liệu bằng Kafka và muốn xử lý nó theo thời gian thực

🔥Kỹ thuật dữ liệu, tôi cũng nên học một cách nghiêm túc một lần?

Lập trình viên mới bắt đầu có kiến thức cơ bản về Python, Java nhưng còn thiếu kinh nghiệm thực tế

🎉 Sau khi hoàn thành khóa học, bạn sẽ thay đổi như thế này!

  • Toàn bộ luồng xử lý dữ liệu thời gian thực được hiển thị


    • Nhận dữ liệu từ Kafka, phân tích thời gian thực bằng Flink, và xuất kết quả ra hệ thống bên ngoài - chúng ta sẽ trực tiếp triển khai toàn bộ luồng này. Giờ đây pipeline thời gian thực không còn mơ hồ nữa mà trở thành cấu trúc cụ thể có thể nắm bắt được.

  • Khái niệm xử lý dựa trên thời gian sự kiện trở nên rõ ràng

    • Các khái niệm như Event Time, Watermark, Window có thể gây nhầm lẫn lúc đầu. Trong khóa học này, chúng ta sẽ xử lý dữ liệu thực tế theo thời gian và trực tiếp cảm nhận được cách mà khái niệm thời gian ảnh hưởng đến xử lý streaming.

  • Bạn sẽ có được kết quả dự án thực tế có thể đưa vào portfolio


    • 📌"Dashboard phân tích dữ liệu cảm biến IoT theo thời gian thực"

      • Nhận dữ liệu cảm biến bằng Kafka

      • Tính toán nhiệt độ trung bình với Flink

      • Xuất và lưu kết quả theo thời gian thực

📚Bạn sẽ học những nội dung như thế này

Hiểu về các khái niệm cốt lõi và cấu trúc của streaming dữ liệu thời gian thực

  • Kiến trúc cơ bản và nguyên lý hoạt động của Apache Flink 2.x

  • Sự khác biệt giữa phương thức xử lý theo lô và xử lý luồng

  • Event Time, Window, Watermark và các khái niệm cốt lõi khác cho xử lý thời gian thực

  • Quản lý trạng thái (State) và đảm bảo khả năng chịu lỗi thông qua Checkpoint

Xây dựng pipeline streaming thực tế tích hợp với Kafka

  • Thực hành toàn bộ luồng nhận dữ liệu từ Kafka → xử lý trong Flink → xuất ra bên ngoài

  • Dự án tính toán nhiệt độ trung bình sử dụng dữ liệu cảm biến IoT

🤔 Bạn có thắc mắc gì không?

Q1. Tôi mới nghe về Flink lần đầu, người hoàn toàn mới bắt đầu có thể học khóa này không?

A. Vâng! Khóa học này được thiết kế để những người chưa từng sử dụng Flink cũng có thể theo dõi một cách dễ dàng.
Ban đầu, chúng tôi sẽ từ từ giải thích cấu trúc cơ bản và các khái niệm của Flink, đồng thời hướng dẫn bạn thực hành trực tiếp quy trình tích hợp với Kafka.
Chúng tôi sẽ xây dựng nền tảng vững chắc từ cơ bản, vì vậy đừng lo lắng nhé!

Q2. Tôi cũng không hiểu rõ về Kafka, liệu có sao không?

A. Đừng lo lắng! Kafka cũng sẽ được giải thích một cách dễ hiểu chỉ những phần cần thiết trong luồng bài giảng.
Mặc dù không phải là khóa học chuyên sâu về Kafka, nhưng các khái niệm và cấu hình cần thiết để hiểu luồng dữ liệu thời gian thực sẽ được cấu trúc để bạn có thể học cùng nhau.
Thông qua việc thực hành "kết hợp Kafka + Flink", bạn có thể hiểu một cách tự nhiên cách kết nối hai công nghệ này.

Q3. Sau khi học xong khóa học, tôi có thể áp dụng ngay vào công việc thực tế không?

A. Vâng, khóa học được cấu trúc với các ví dụ và thực hành có thể áp dụng trực tiếp vào công việc thực tế.
Ví dụ, chúng ta sẽ cùng nhau xây dựng một dự án nhận dữ liệu từ cảm biến IoT và tính toán nhiệt độ trung bình theo thời gian thực. Đây không chỉ là bài thực hành đơn giản,
mà là cấu trúc có thể mở rộng và áp dụng cho phân tích log, giám sát, hệ thống cảnh báo trong công việc thực tế.
Sau khi hoàn thành khóa học, bạn sẽ có thể hình dung rõ ràng "làm thế nào để áp dụng điều này vào dịch vụ của chúng ta"

Những điều cần lưu ý trước khi học

Môi trường thực hành

  • Hệ điều hành và phiên bản (OS): Loại và phiên bản hệ điều hành như macOS, Linux, Ubuntu, v.v.

  • Công cụ sử dụng: Docker

  • Ngôn ngữ sử dụng: Python, Java

Tài liệu học tập

  • Tài liệu giảng dạy PDF (tham khảo tài liệu học tập video từng phần) và tài liệu mã nguồn được cung cấp.

Kiến thức tiên quyết và lưu ý

  • Khóa học này được cấu trúc tập trung vào thực hành và chạy Apache Flink và Kafka trong môi trường Docker. Do đó, nếu bạn có kiến thức cơ bản như dưới đây, bạn sẽ có thể học một cách suôn sẻ hơn:

    • Cú pháp cơ bản và cách sử dụng Java

    • Cú pháp cơ bản và cách sử dụng Python

    • (Tùy chọn) Thông tin cơ bản về Apache Spark

    • Cách sử dụng Docker và Docker Compose

  • Nếu bạn chưa quen thuộc với Docker, tôi khuyến nghị khóa học Docker miễn phí cho người mới bắt đầu do tôi tạo ra.
    👉Xem khóa học Docker miễn phí

  • Ngữ pháp được giải thích bằng phiên bản mới nhất 2.X tại thời điểm mở khóa học (khác với ngữ pháp 1.X)

  • Trong quá trình học, nếu có phần nào khó hiểu hoặc có thắc mắc thì bất cứ lúc nào cũng hãy để lại câu hỏi trong phần bình luận nhé!
    Vì tôi đang sống ở miền Tây nước Mỹ nên do chênh lệch múi giờ, việc trả lời có thể hơi chậm, mong các bạn thông cảm.
    Tôi sẽ hỗ trợ các bạn nhanh nhất và chính xác nhất có thể 😊

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Nhà phát triển backend muốn thử xử lý dữ liệu thời gian thực như log, traffic, dữ liệu cảm biến

  • Kỹ sư dữ liệu muốn áp dụng các công nghệ dựa trên streaming như Flink, Kafka vào thực tế công việc

  • Những người đang ở trong team/công ty muốn chuyển đổi data pipeline tập trung vào xử lý batch sang streaming

  • Spark thì đã từng sử dụng rồi nhưng là developer muốn trải nghiệm xử lý thời gian thực thực sự

  • Những người quan tâm đến hệ thống phân tích thời gian thực dựa trên đám mây

Cần biết trước khi bắt đầu?

  • Cú pháp cơ bản Java

  • Các khái niệm cơ bản về Kafka và Message Queue

  • Kinh nghiệm sử dụng các lệnh cơ bản Linux và Docker (tùy chọn)

Xin chào
Đây là

10,377

Học viên

697

Đánh giá

306

Trả lời

4.8

Xếp hạng

25

Các khóa học

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

Chương trình giảng dạy

Tất cả

29 bài giảng ∙ (2giờ 54phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Ưu đãi có thời hạn, kết thúc sau 5 ngày ngày

16.500 ₫

50%

716.373 ₫

Khóa học khác của altoformula

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!