강의

멘토링

커뮤니티

BEST
Data Science

/

Data Engineering

Hướng dẫn đầy đủ về Kafka - ksqlDB

Bài giảng này được thiết kế để giúp bạn tìm hiểu cách sử dụng ksqlDB và các cơ chế cốt lõi của nó thông qua các bài tập khác nhau. Sau khi hoàn thành bài giảng, bạn sẽ có thể nhanh chóng và dễ dàng xây dựng hệ thống phân tích dữ liệu phát trực tuyến theo thời gian thực dựa trên Kafka.

(4.8) 17 đánh giá

362 học viên

  • dooleyz3525
카프카
Kafka
ksqldb
데이터 엔지니어링
streaming
sql
ksqlDB
Data Engineering

Đánh giá từ những học viên đầu tiên

Bạn sẽ nhận được điều này sau khi học.

  • Từ khái niệm cơ bản về KSQLDB đến kiến ​​trúc nâng cao

  • Sự khác biệt giữa Luồng và Bảng và cơ chế xử lý Truyền phát trạng thái

  • Tạo và quản lý thông tin về các đối tượng chính của KSQLDB và hiểu biết về các loại dữ liệu khác nhau

  • Cơ chế hoạt động của RocksDB trong KSQLDB

  • Hiểu các cú pháp và chức năng truy vấn khác nhau của KSQLDB

  • Hiểu và sử dụng Group by và Mview cũng như những đặc điểm và hạn chế của chúng

  • Hiểu và sử dụng các loại kết nối KSQLDB khác nhau cũng như các đặc điểm và hạn chế của chúng

  • Tìm hiểu các loại Windows khác nhau và cơ chế hoạt động của Window Aggregation và Window Join

  • Sử dụng Connect trong KSQLDB

  • Tích hợp với KSQLDB và Elaticsearch và trực quan hóa kết quả phân tích thông qua Kibana

Hệ thống phân tích phát trực tuyến thời gian thực quy mô lớn,
Dễ dàng và mạnh mẽ với Kafka + ksqlDB!

Phân tích dữ liệu phát trực tuyến theo thời gian thực
Bạn muốn đạt được hiệu quả và khả năng mở rộng?

Nếu bạn đang sử dụng Kafka , cách dễ nhất và nhanh nhất để triển khai hệ thống phân tích phát trực tuyến thời gian thực quy mô lớn là sử dụng ksqlDB .

ksqlDB, được cài đặt và vận hành tích hợp với Kafka, có thể xử lý/chuyển đổi/phân tích dữ liệu phát trực tuyến thời gian thực chỉ bằng một vài dòng mã SQL , mà không cần sử dụng API phát trực tuyến phức tạp.

Trích đoạn từ trang Confluent chính thức (liên kết)

Các công ty hàng đầu trong nước và quốc tế hiện đang phải đối mặt với nhu cầu phân tích dữ liệu phát trực tuyến theo thời gian thực với khối lượng lớn chưa từng có và độ trễ nhanh so với trước đây , đồng thời phản ánh kết quả ngay lập tức và đang tích cực triển khai ksqlDB để đạt được mục tiêu này.

Trước đây, API Kafka Streams phức tạp được sử dụng để xử lý/chuyển đổi/phân tích dữ liệu phát trực tuyến theo thời gian thực dựa trên Kafka, nhưng hiện nay ksqlDB, cho phép xây dựng hệ thống phân tích phát trực tuyến dễ dàng và nhanh chóng chỉ bằng các truy vấn đơn giản, đang trở thành xu hướng để xây dựng hệ thống phân tích dữ liệu phát trực tuyến theo thời gian thực.

ksqlDB đang phát triển nhanh chóng nhưng số lượng chuyên gia lại rất khan hiếm.

ksqlDB đang nhanh chóng thay thế API Kafka Streams hiện tại nhờ nhiều ưu điểm, bao gồm khả năng triển khai dựa trên SQL dễ dàng và tiện lợi.

Tuy nhiên, việc tìm kiếm các chuyên gia đủ kỹ năng để sử dụng ksqlDB trong các ứng dụng thực tế là vô cùng khó khăn. Lý do là vì ksqlDB là một giải pháp tương đối mới, và hầu hết các tài liệu và bài giảng về nó đều hời hợt và thiếu khái niệm để xây dựng các kỹ năng cần thiết cho việc sử dụng thực tế.


Ứng dụng xử lý dữ liệu phát trực tuyến khối lượng lớn theo thời gian thực được thực hiện dễ dàng và nhanh chóng.

'Hướng dẫn đầy đủ về Kafka - ksqlDB'

Khóa học này được thiết kế để giúp bạn phát triển thành chuyên gia ksqlDB với nội dung thực hành, thiết thực. Mục tiêu của chúng tôi là giúp bạn tiến xa hơn nữa trên con đường trở thành chuyên gia ksqlDB mà công ty bạn mong muốn .

Những người đã nhiều lần bị chặn bởi bức tường cao của ksqlDB

Những người muốn hiểu cơ chế cốt lõi của ksqlDB

✅ Bất kỳ ai muốn sử dụng ksqlDB ngay lập tức để làm việc

Theo đó, bài giảng này chứa đầy đủ nội dung mà sinh viên phải nắm được để có thể sử dụng ksqlDB trong thực tế.

Các tính năng độc đáo của khóa học này
Hãy xem thử nhé.

Tìm hiểu cơ chế hoạt động cốt lõi của các thành phần chính của ksqlDB thông qua các hình ảnh minh họa chi tiết và các bài tập thực hành.

Mặc dù ksqlDB có một số điểm tương đồng với một hệ quản trị cơ sở dữ liệu quan hệ (RDBMS) thông thường, nhưng nó cũng có nhiều điểm khác biệt đáng kể. Do đó, để sử dụng ksqlDB hiệu quả, việc hiểu rõ các cơ chế hoạt động của nó, bao gồm các thành phần chính—Stream, Table, Query, MView và RocksDB—là điều cần thiết. Khóa học này sẽ giúp bạn nắm vững các cơ chế cốt lõi của ksqlDB thông qua các hình ảnh minh họa chi tiết và bài tập thực hành.

Nhiều chức năng độc đáo của ksqlDB, bao gồm nối, nhóm theo, sử dụng cửa sổ và đào tạo thực hành để sử dụng thực tế.

Để sử dụng ksqlDB hiệu quả trong thực tế, bạn cần phải quen thuộc với các hàm đa dạng mà nó cung cấp, bao gồm JOIN, GROUP BY và WINDOW. Đặc biệt, các lệnh JOIN, GROUP BY và WINDOW của ksqlDB có những hạn chế khác với SQL, và nếu không hiểu rõ chúng, bạn sẽ không thể sử dụng ksqlDB một cách trọn vẹn. Khóa học này sẽ cung cấp bài thực hành thực tế để triển khai các thành phần này, giúp bạn hiểu rõ những điểm khác biệt.

Ngoài ra, thông qua phần đào tạo thực hành riêng biệt "Cửa hàng giày trực tuyến", chúng tôi sẽ hướng dẫn bạn đến trình độ có thể áp dụng hiệu quả nhiều phương pháp phân tích thời gian thực khác nhau trong ksqlDB vào lĩnh vực của mình.

Từ việc tận dụng Connect trong ksqlDB đến tích hợp Elasticsearch và trực quan hóa Kibana.

Chúng tôi sẽ giải thích cách tích hợp và tận dụng Connect trong ksqlDB. Bạn cũng sẽ học cách lưu trữ kết quả phân tích ksqlDB trong Elasticsearch thông qua Connect và trực quan hóa chúng bằng Kibana.

Chúng tôi sẽ hướng dẫn bạn từ trình độ mới bắt đầu đến trình độ chuyên gia với ksqlDB.

⚙️

Cơ chế cốt lõi của các thành phần chính của ksqlDB

🔎

Sự khác biệt giữa Stream và Table và cách sử dụng chúng, tạo và quản lý các đối tượng chính

🧰

Hiểu cú pháp truy vấn khác nhau và các chức năng chính của ksqlDB thông qua thực hành

📊

Hiểu và sử dụng các tính năng Group by, MView và Join độc đáo của ksqlDB, cũng như sự khác biệt và hạn chế so với RDBMS.

🔐

Hiểu biết về các loại cửa sổ khác nhau và thực hành cơ chế hoạt động của tổng hợp cửa sổ theo thời gian và nối cửa sổ.

💾

Tích hợp với Connect và thu thập và trực quan hóa kết quả phân tích thông qua Elasticsearch và Kibana

Chúng tôi đã đi sâu hơn vào việc cung cấp tổng quan sơ lược về ksqlDB, tập trung đáng kể vào việc bao quát nội dung cốt lõi và các ứng dụng thực tế chưa từng có trong bất kỳ bài giảng hay tài liệu trực tuyến nào trước đây. Hơn nữa, chúng tôi đã bổ sung vào chương trình học nhiều bài tập thực hành đa dạng để đảm bảo học viên hiểu lý thuyết một cách tự nhiên hơn thông qua thực hành.

Sau khi hoàn thành khóa học này, bạn sẽ thấy mình trở thành chuyên gia ksqlDB có thể cạnh tranh với bất kỳ ai.

Chúng tôi đã xây dựng nội dung để bạn có thể hiểu đầy đủ thông qua các giải thích chi tiết và nhiều bài tập thực hành khác nhau.
(Chúng tôi cung cấp cho sinh viên tài liệu bài giảng dạng PDF dài hơn 100 trang.)

💡 Vui lòng lưu ý trước khi tham gia lớp học!

  • Bài giảng này chỉ đề cập đến ksqlDB chứ không phải Kafka Streams.
  • Thực hành tương thích Virtualbox VM có thể khó thực hiện trên máy tính Macbook M1/M2.

Môi trường thực hành

Hệ điều hành máy chủ

Hệ điều hành máy chủ Kafka là Ubuntu Linux 20.04, chạy trên máy ảo Oracle VirtualBox. Mặc dù sử dụng Linux, nhưng Kafka chạy trên máy ảo, phù hợp với cả môi trường Windows và macOS.

VirtualBox có thể được cài đặt trên hầu hết các nền tảng Windows và macOS. Tuy nhiên, VirtualBox không được cài đặt trên các mẫu máy Mac M1 mới nhất. Do đó, bạn phải cài đặt Ubuntu bằng môi trường ảo như UTM. Đối với các mẫu máy M1, vui lòng đảm bảo Ubuntu có thể được cài đặt trong môi trường ảo trước khi chọn khóa học.

Kafka hợp lưu
Phiên bản cộng đồng

Kafka sử dụng Confluent Kafka Community Edition phiên bản 7.1.2, không phải Apache Kafka.

Confluent, được thành lập bởi đội ngũ nòng cốt đằng sau Kafka, cung cấp Kafka cấp doanh nghiệp với hiệu suất và sự tiện lợi vượt trội cho khách hàng doanh nghiệp. Confluent tương thích 100% với Apache Kafka, đồng thời cung cấp quyền truy cập vào nhiều module Kafka và tệp nhị phân tích hợp hơn. Với Confluent, bạn có thể tận dụng hệ thống Kafka phân tán mạnh mẽ ở dạng linh hoạt và có khả năng mở rộng hơn. Điều này giúp giảm gánh nặng triển khai và bảo trì cơ sở hạ tầng, đồng thời đẩy nhanh quá trình phát triển.

Thông số kỹ thuật PC được đề xuất

Cấu hình môi trường phòng thí nghiệm đầy đủ có thể yêu cầu môi trường PC có dung lượng lưu trữ 20-30GB và RAM 4GB trở lên .


Hãy xem phần Hỏi & Đáp 💬

H. Tôi nên học bài giảng trước, "Hướng dẫn đầy đủ về Kafka - Core" hay "Kết nối"?

Khóa học này có hai phần hướng dẫn tích hợp giữa ksqlDB và Connect. Ngay cả khi bạn chưa học "Hướng dẫn Kafka Toàn diện - Connect", bạn vẫn nên có kiến thức cơ bản về Connect và kinh nghiệm thực tế để hiểu đầy đủ các bài tập trong phần này.

Hiểu biết về Kafka Core là điều cần thiết. Bạn nên tham gia khóa học trước, "Hướng dẫn đầy đủ về Kafka - Core". Tuy nhiên, ngay cả khi bạn chưa tham gia khóa học này, nếu bạn đã có kinh nghiệm sử dụng các thành phần cơ bản của Kafka—Broker, Producer và Consumer—và nắm vững các khái niệm cốt lõi, bạn vẫn có thể theo học khóa học này.

H. Tôi có cần phải có kinh nghiệm về RDBMS SQL để tham gia khóa học này không?

Nhiều bài tập trong khóa học này dựa trên truy vấn. Do đó, bạn cần có kinh nghiệm về cú pháp SQL cơ bản của RDBMS và các thao tác GROUP BY và JOIN.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Bất cứ ai muốn hiểu một cách dễ dàng và chuyên sâu về các thành phần chính của KSQLDB

  • Kỹ sư dữ liệu muốn xây dựng một lượng lớn hệ thống phân tích chuyển đổi/xử lý dữ liệu phát trực tuyến theo thời gian thực dựa trên Kafka một cách nhanh chóng và hiệu quả

  • Các nhà phân tích và nhà khoa học dữ liệu cần sử dụng phân tích dữ liệu truyền phát theo thời gian thực

  • Các nhà phát triển muốn di chuyển các ứng dụng từ dựa trên Nhà sản xuất/Người tiêu dùng hoặc dựa trên Luồng Kafka sang dựa trên KSQLDB

Cần biết trước khi bắt đầu?

  • (Hướng dẫn đầy đủ về Kafka - tốt nhất là bạn nên dùng phiên bản cốt lõi, nhưng nếu không) Cần có kiến ​​thức cơ bản vững chắc về chủ đề/nhà sản xuất/người tiêu dùng.

  • Kiến thức cơ bản về Kafka Connect

  • Nhiều bài tập dựa trên truy vấn. Cần có kiến ​​thức SQL cơ bản để hiểu các phép nối và nhóm theo.

Xin chào
Đây là

26,975

Học viên

1,378

Đánh giá

4,011

Trả lời

4.9

Xếp hạng

14

Các khóa học

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

Chương trình giảng dạy

Tất cả

139 bài giảng ∙ (21giờ 31phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

17 đánh giá

4.8

17 đánh giá

  • jongho97han8855님의 프로필 이미지
    jongho97han8855

    Đánh giá 15

    Đánh giá trung bình 5.0

    5

    30% đã tham gia

    • jink0608님의 프로필 이미지
      jink0608

      Đánh giá 2

      Đánh giá trung bình 4.5

      4

      30% đã tham gia

      • chillguy님의 프로필 이미지
        chillguy

        Đánh giá 10

        Đánh giá trung bình 5.0

        Đã chỉnh sửa

        5

        100% đã tham gia

        Thầy giáo đã dạy tất cả các bài thực hành, bao gồm cả việc tạo biểu đồ bằng ElasticSearch và Kibana như một phần thưởng cuối cùng, như thể đó là dấu chấm hết cho lộ trình Kafka. Tôi rất vui khi được tận mắt nhìn thấy biểu đồ. Cảm ơn bạn đã cung cấp một bài giảng hay.

        • dooleyz3525
          Giảng viên

          Ồ, chúc mừng bạn đã nghe hết bài giảng cuối cùng về lộ trình Kafka. Cảm ơn bạn vì những đánh giá tốt ^^

      • sjhappy9769님의 프로필 이미지
        sjhappy9769

        Đánh giá 2

        Đánh giá trung bình 5.0

        5

        6% đã tham gia

      • jsggo2001님의 프로필 이미지
        jsggo2001

        Đánh giá 8

        Đánh giá trung bình 5.0

        5

        100% đã tham gia

        Nó thực sự hữu ích. Tôi chưa biết gì về Kafka, nhưng từ lõi Kafka đến Connect ksqldb, tôi nghĩ tôi có thể tham gia mà không do dự bất cứ khi nào tôi cần làm việc về Kafka hoặc một chủ đề nào đó xuất hiện. nó thực sự là của tôi thông qua sự lặp lại, nhưng tôi nghĩ nó vẫn hữu ích rất nhiều.

        • dooleyz3525
          Giảng viên

          Tôi cảm thấy được khen thưởng vì đã tạo ra chuỗi bài giảng Kafka. Cảm ơn bạn đã đánh giá tốt ^^

      2.090.612 ₫

      Khóa học khác của dooleyz3525

      Hãy khám phá các khóa học khác của giảng viên!

      Khóa học tương tự

      Khám phá các khóa học khác trong cùng lĩnh vực!