Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
BEST
Data Science

/

Data Engineering

Hướng dẫn đầy đủ về Kafka - ksqlDB

Bài giảng này được thiết kế để giúp bạn tìm hiểu cách sử dụng ksqlDB và các cơ chế cốt lõi của nó thông qua các bài tập khác nhau. Sau khi hoàn thành bài giảng, bạn sẽ có thể nhanh chóng và dễ dàng xây dựng hệ thống phân tích dữ liệu phát trực tuyến theo thời gian thực dựa trên Kafka.

(4.8) 16 đánh giá

348 học viên

  • dooleyz3525
카프카
Kafka
ksqldb
데이터 엔지니어링
streaming
sql
ksqlDB
Data Engineering

Đánh giá từ những học viên đầu tiên

Dịch cái này sang tiếng Việt

  • Từ khái niệm cơ bản về KSQLDB đến kiến ​​trúc nâng cao

  • Sự khác biệt giữa Luồng và Bảng và cơ chế xử lý Truyền phát trạng thái

  • Tạo và quản lý thông tin về các đối tượng chính của KSQLDB và hiểu biết về các loại dữ liệu khác nhau

  • Cơ chế hoạt động của RocksDB trong KSQLDB

  • Hiểu các cú pháp và chức năng truy vấn khác nhau của KSQLDB

  • Hiểu và sử dụng Group by và Mview cũng như những đặc điểm và hạn chế của chúng

  • Hiểu và sử dụng các loại kết nối KSQLDB khác nhau cũng như các đặc điểm và hạn chế của chúng

  • Tìm hiểu các loại Windows khác nhau và cơ chế hoạt động của Window Aggregation và Window Join

  • Sử dụng Connect trong KSQLDB

  • Tích hợp với KSQLDB và Elaticsearch và trực quan hóa kết quả phân tích thông qua Kibana

Hệ thống phân tích phát trực tuyến thời gian thực quy mô lớn,
Dễ dàng và mạnh mẽ với Kafka + ksqlDB!

Phân tích dữ liệu phát trực tuyến theo thời gian thực
Bạn muốn đạt được hiệu quả và khả năng mở rộng?

Nếu bạn đang sử dụng Kafka , cách dễ nhất và nhanh nhất để triển khai hệ thống phân tích phát trực tuyến thời gian thực quy mô lớn là sử dụng ksqlDB .

ksqlDB, được cài đặt và vận hành tích hợp với Kafka, có thể xử lý/chuyển đổi/phân tích dữ liệu phát trực tuyến thời gian thực chỉ bằng một vài dòng mã SQL , mà không cần sử dụng API phát trực tuyến phức tạp.

Trích đoạn từ trang Confluent chính thức (liên kết)

Các công ty hàng đầu trong nước và quốc tế hiện đang phải đối mặt với nhu cầu phân tích dữ liệu phát trực tuyến theo thời gian thực với khối lượng lớn chưa từng có và độ trễ nhanh so với trước đây , đồng thời phản ánh kết quả ngay lập tức và đang tích cực triển khai ksqlDB để đạt được mục tiêu này.

Trước đây, API Kafka Streams phức tạp được sử dụng để xử lý/chuyển đổi/phân tích dữ liệu phát trực tuyến theo thời gian thực dựa trên Kafka, nhưng hiện nay ksqlDB, cho phép xây dựng hệ thống phân tích phát trực tuyến dễ dàng và nhanh chóng chỉ bằng các truy vấn đơn giản, đang trở thành xu hướng để xây dựng hệ thống phân tích dữ liệu phát trực tuyến theo thời gian thực.

ksqlDB đang phát triển nhanh chóng nhưng số lượng chuyên gia lại rất khan hiếm.

ksqlDB đang nhanh chóng thay thế API Kafka Streams hiện tại nhờ nhiều ưu điểm, bao gồm khả năng triển khai dựa trên SQL dễ dàng và tiện lợi.

Tuy nhiên, việc tìm kiếm các chuyên gia đủ kỹ năng để sử dụng ksqlDB trong các ứng dụng thực tế là vô cùng khó khăn. Lý do là vì ksqlDB là một giải pháp tương đối mới, và hầu hết các tài liệu và bài giảng về nó đều hời hợt và thiếu khái niệm để xây dựng các kỹ năng cần thiết cho việc sử dụng thực tế.


Ứng dụng xử lý dữ liệu phát trực tuyến khối lượng lớn theo thời gian thực được thực hiện dễ dàng và nhanh chóng.

'Hướng dẫn đầy đủ về Kafka - ksqlDB'

Khóa học này được thiết kế để giúp bạn phát triển thành chuyên gia ksqlDB với nội dung thực hành, thiết thực. Mục tiêu của chúng tôi là giúp bạn tiến xa hơn nữa trên con đường trở thành chuyên gia ksqlDB mà công ty bạn mong muốn .

Những người đã nhiều lần bị chặn bởi bức tường cao của ksqlDB

Những người muốn hiểu cơ chế cốt lõi của ksqlDB

✅ Bất kỳ ai muốn sử dụng ksqlDB ngay lập tức để làm việc

Theo đó, bài giảng này chứa đầy đủ nội dung mà sinh viên phải nắm được để có thể sử dụng ksqlDB trong thực tế.

Các tính năng độc đáo của khóa học này
Hãy xem thử nhé.

Tìm hiểu cơ chế hoạt động cốt lõi của các thành phần chính của ksqlDB thông qua các hình ảnh minh họa chi tiết và các bài tập thực hành.

Mặc dù ksqlDB có một số điểm tương đồng với một hệ quản trị cơ sở dữ liệu quan hệ (RDBMS) thông thường, nhưng nó cũng có nhiều điểm khác biệt đáng kể. Do đó, để sử dụng ksqlDB hiệu quả, việc hiểu rõ các cơ chế hoạt động của nó, bao gồm các thành phần chính—Stream, Table, Query, MView và RocksDB—là điều cần thiết. Khóa học này sẽ giúp bạn nắm vững các cơ chế cốt lõi của ksqlDB thông qua các hình ảnh minh họa chi tiết và bài tập thực hành.

Nhiều chức năng độc đáo của ksqlDB, bao gồm nối, nhóm theo, sử dụng cửa sổ và đào tạo thực hành để sử dụng thực tế.

Để sử dụng ksqlDB hiệu quả trong thực tế, bạn cần phải quen thuộc với các hàm đa dạng mà nó cung cấp, bao gồm JOIN, GROUP BY và WINDOW. Đặc biệt, các lệnh JOIN, GROUP BY và WINDOW của ksqlDB có những hạn chế khác với SQL, và nếu không hiểu rõ chúng, bạn sẽ không thể sử dụng ksqlDB một cách trọn vẹn. Khóa học này sẽ cung cấp bài thực hành thực tế để triển khai các thành phần này, giúp bạn hiểu rõ những điểm khác biệt.

Ngoài ra, thông qua phần đào tạo thực hành riêng biệt "Cửa hàng giày trực tuyến", chúng tôi sẽ hướng dẫn bạn đến trình độ có thể áp dụng hiệu quả nhiều phương pháp phân tích thời gian thực khác nhau trong ksqlDB vào lĩnh vực của mình.

Từ việc tận dụng Connect trong ksqlDB đến tích hợp Elasticsearch và trực quan hóa Kibana.

Chúng tôi sẽ giải thích cách tích hợp và tận dụng Connect trong ksqlDB. Bạn cũng sẽ học cách lưu trữ kết quả phân tích ksqlDB trong Elasticsearch thông qua Connect và trực quan hóa chúng bằng Kibana.

Chúng tôi sẽ hướng dẫn bạn từ trình độ mới bắt đầu đến trình độ chuyên gia với ksqlDB.

⚙️

Cơ chế cốt lõi của các thành phần chính của ksqlDB

🔎

Sự khác biệt giữa Stream và Table và cách sử dụng chúng, tạo và quản lý các đối tượng chính

🧰

Hiểu cú pháp truy vấn khác nhau và các chức năng chính của ksqlDB thông qua thực hành

📊

Hiểu và sử dụng các tính năng Group by, MView và Join độc đáo của ksqlDB, cũng như sự khác biệt và hạn chế so với RDBMS.

🔐

Hiểu biết về các loại cửa sổ khác nhau và thực hành cơ chế hoạt động của tổng hợp cửa sổ theo thời gian và nối cửa sổ.

💾

Tích hợp với Connect và thu thập và trực quan hóa kết quả phân tích thông qua Elasticsearch và Kibana

Chúng tôi đã đi sâu hơn vào việc cung cấp tổng quan sơ lược về ksqlDB, tập trung đáng kể vào việc bao quát nội dung cốt lõi và các ứng dụng thực tế chưa từng có trong bất kỳ bài giảng hay tài liệu trực tuyến nào trước đây. Hơn nữa, chúng tôi đã bổ sung vào chương trình học nhiều bài tập thực hành đa dạng để đảm bảo học viên hiểu lý thuyết một cách tự nhiên hơn thông qua thực hành.

Sau khi hoàn thành khóa học này, bạn sẽ thấy mình trở thành chuyên gia ksqlDB có thể cạnh tranh với bất kỳ ai.

Chúng tôi đã xây dựng nội dung để bạn có thể hiểu đầy đủ thông qua các giải thích chi tiết và nhiều bài tập thực hành khác nhau.
(Chúng tôi cung cấp cho sinh viên tài liệu bài giảng dạng PDF dài hơn 100 trang.)

💡 Vui lòng lưu ý trước khi tham gia lớp học!

  • Bài giảng này chỉ đề cập đến ksqlDB chứ không phải Kafka Streams.
  • Thực hành tương thích Virtualbox VM có thể khó thực hiện trên máy tính Macbook M1/M2.

Môi trường thực hành

Hệ điều hành máy chủ

Hệ điều hành máy chủ Kafka là Ubuntu Linux 20.04, chạy trên máy ảo Oracle VirtualBox. Mặc dù sử dụng Linux, nhưng Kafka chạy trên máy ảo, phù hợp với cả môi trường Windows và macOS.

VirtualBox có thể được cài đặt trên hầu hết các nền tảng Windows và macOS. Tuy nhiên, VirtualBox không được cài đặt trên các mẫu máy Mac M1 mới nhất. Do đó, bạn phải cài đặt Ubuntu bằng môi trường ảo như UTM. Đối với các mẫu máy M1, vui lòng đảm bảo Ubuntu có thể được cài đặt trong môi trường ảo trước khi chọn khóa học.

Kafka hợp lưu
Phiên bản cộng đồng

Kafka sử dụng Confluent Kafka Community Edition phiên bản 7.1.2, không phải Apache Kafka.

Confluent, được thành lập bởi đội ngũ nòng cốt đằng sau Kafka, cung cấp Kafka cấp doanh nghiệp với hiệu suất và sự tiện lợi vượt trội cho khách hàng doanh nghiệp. Confluent tương thích 100% với Apache Kafka, đồng thời cung cấp quyền truy cập vào nhiều module Kafka và tệp nhị phân tích hợp hơn. Với Confluent, bạn có thể tận dụng hệ thống Kafka phân tán mạnh mẽ ở dạng linh hoạt và có khả năng mở rộng hơn. Điều này giúp giảm gánh nặng triển khai và bảo trì cơ sở hạ tầng, đồng thời đẩy nhanh quá trình phát triển.

Thông số kỹ thuật PC được đề xuất

Cấu hình môi trường phòng thí nghiệm đầy đủ có thể yêu cầu môi trường PC có dung lượng lưu trữ 20-30GB và RAM 4GB trở lên .


Hãy xem phần Hỏi & Đáp 💬

H. Tôi nên học bài giảng trước, "Hướng dẫn đầy đủ về Kafka - Core" hay "Kết nối"?

Khóa học này có hai phần hướng dẫn tích hợp giữa ksqlDB và Connect. Ngay cả khi bạn chưa học "Hướng dẫn Kafka Toàn diện - Connect", bạn vẫn nên có kiến thức cơ bản về Connect và kinh nghiệm thực tế để hiểu đầy đủ các bài tập trong phần này.

Hiểu biết về Kafka Core là điều cần thiết. Bạn nên tham gia khóa học trước, "Hướng dẫn đầy đủ về Kafka - Core". Tuy nhiên, ngay cả khi bạn chưa tham gia khóa học này, nếu bạn đã có kinh nghiệm sử dụng các thành phần cơ bản của Kafka—Broker, Producer và Consumer—và nắm vững các khái niệm cốt lõi, bạn vẫn có thể theo học khóa học này.

H. Tôi có cần phải có kinh nghiệm về RDBMS SQL để tham gia khóa học này không?

Nhiều bài tập trong khóa học này dựa trên truy vấn. Do đó, bạn cần có kinh nghiệm về cú pháp SQL cơ bản của RDBMS và các thao tác GROUP BY và JOIN.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Bất cứ ai muốn hiểu một cách dễ dàng và chuyên sâu về các thành phần chính của KSQLDB

  • Kỹ sư dữ liệu muốn xây dựng một lượng lớn hệ thống phân tích chuyển đổi/xử lý dữ liệu phát trực tuyến theo thời gian thực dựa trên Kafka một cách nhanh chóng và hiệu quả

  • Các nhà phân tích và nhà khoa học dữ liệu cần sử dụng phân tích dữ liệu truyền phát theo thời gian thực

  • Các nhà phát triển muốn di chuyển các ứng dụng từ dựa trên Nhà sản xuất/Người tiêu dùng hoặc dựa trên Luồng Kafka sang dựa trên KSQLDB

Cần biết trước khi bắt đầu?

  • (Hướng dẫn đầy đủ về Kafka - tốt nhất là bạn nên dùng phiên bản cốt lõi, nhưng nếu không) Cần có kiến ​​thức cơ bản vững chắc về chủ đề/nhà sản xuất/người tiêu dùng.

  • Kiến thức cơ bản về Kafka Connect

  • Nhiều bài tập dựa trên truy vấn. Cần có kiến ​​thức SQL cơ bản để hiểu các phép nối và nhóm theo.

Xin chào
Đây là

25,926

Học viên

1,275

Đánh giá

3,959

Trả lời

4.9

Xếp hạng

13

Các khóa học

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

Chương trình giảng dạy

Tất cả

139 bài giảng ∙ (21giờ 31phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

16 đánh giá

4.8

16 đánh giá

  • jink0608님의 프로필 이미지
    jink0608

    Đánh giá 2

    Đánh giá trung bình 4.5

    4

    30% đã tham gia

    • chillguy님의 프로필 이미지
      chillguy

      Đánh giá 10

      Đánh giá trung bình 5.0

      Đã chỉnh sửa

      5

      100% đã tham gia

      先生が最後にボーナスとしてElasticSearchとKibanaを使ってグラフを作成するところまですべての実習を教えてくださったので、Kafkaロードマップのフィナーレを飾ったようです。 実際にグラフを目で確認できて嬉しいです。良い講義を提供してくださりありがとうございます。

      • dooleyz3525
        Giảng viên

        お、Kafkaロードマップ、ファイナル講義まで全部お聞きになったとは、おめでとうございます。良いレビューもありがとうございます^^

    • sjhappy9769님의 프로필 이미지
      sjhappy9769

      Đánh giá 2

      Đánh giá trung bình 5.0

      5

      6% đã tham gia

      • dooleyz3525
        Giảng viên

        ありがとうございます^^

    • jsggo2001님의 프로필 이미지
      jsggo2001

      Đánh giá 8

      Đánh giá trung bình 5.0

      5

      100% đã tham gia

      本当にたくさんの役に立ちました。役に立ったようです。

      • dooleyz3525
        Giảng viên

        カフカ講義シリーズを作ったやりがいを感じました。良い受講評ありがとうございました^^

    • matthew님의 프로필 이미지
      matthew

      Đánh giá 9

      Đánh giá trung bình 4.4

      5

      33% đã tham gia

      私だけ聞きたい講義👏👏👏 講義資料と説明がとても良いです。 ksqlDBだけ聞こうとしましたが、他の講義も聞きたくなりました。

      • dooleyz3525
        Giảng viên

        良い賞賛に私も気分が良くなるね。すばらしい受講評価ありがとうございます。

    2.089.422 ₫

    Khóa học khác của dooleyz3525

    Hãy khám phá các khóa học khác của giảng viên!

    Khóa học tương tự

    Khám phá các khóa học khác trong cùng lĩnh vực!