[Lập trình ứng dụng Apache Kafka] Từ ý tưởng đến người tiêu dùng, nhà sản xuất, kết nối và truyền phát!

Kiến thức cốt lõi về Apache Kafka!

Kỹ sư dữ liệu hướng sự kiện
Đường ống dữ liệu xử lý luồng

Các khái niệm cơ bản + các chức năng khác nhau cho ứng dụng môi trường thương mại
Bản chất của Kafka được thể hiện trọn vẹn trong một bài giảng 😊

Có lẽ đây là mối quan tâm của bạn? 🤷‍♂️

• “Các khái niệm được sử dụng trong Apache Kafka quá khó.”
• “Tôi muốn tạo một đường ống dữ liệu lặp lại bằng Kafka.”
• “Tôi không biết điều gì khiến Kafka tốt hơn các nền tảng khác.”
• “Tôi tự hỏi hệ sinh thái xung quanh Kafka như thế nào.”

1️⃣ Nắm vững từ vựng và các khái niệm được sử dụng trong Apache Kafka

Apache Kafka bao gồm một loạt các thuật ngữ. Các thuật ngữ như cân bằng lại (rebalancing), khóa tin nhắn (message keys), bộ phân vùng (partitioners), bộ tích lũy (accumulators) và tác vụ (tasks) có thể khá xa lạ với các nhà phát triển chưa quen với Kafka. Nếu không hiểu rõ các khái niệm đằng sau mỗi thuật ngữ, việc hiểu và phát triển Kafka có thể khá khó khăn. Bài giảng này sẽ giải thích chi tiết các khái niệm đằng sau các thuật ngữ chính được sử dụng trong Kafka.

2️⃣ Các loại và hiểu biết về ứng dụng Kafka

Apache Kafka, một nền tảng phát trực tuyến sự kiện phân tán, không chỉ hỗ trợ chức năng xếp hàng tin nhắn chung mà còn cho phép xử lý luồng sự kiện theo thời gian thực. Là một nền tảng dữ liệu, nó lý tưởng cho việc tạo và vận hành các đường ống dữ liệu nhiều lần. Tuy nhiên, để tận dụng và khai thác các khả năng này, việc hiểu rõ về hệ sinh thái xung quanh là điều cần thiết. Bài giảng này đề cập đến các nhà sản xuất, người tiêu dùng, Kafka Streams và Kafka Connect, cung cấp cho các nhà phát triển ứng dụng cái nhìn sâu sắc về xử lý dữ liệu luồng.

3️⃣ Tìm hiểu các hàm và tùy chọn được sử dụng trong thực tế

Khi phát triển ứng dụng Kafka, bạn không cần phải học và nắm vững mọi tính năng ngay từ đầu. Mặc dù trình quản lý người dùng (consumer) đã cung cấp hơn 90 tùy chọn, nhưng bạn không nhất thiết phải sử dụng hết tất cả. Bài giảng này sẽ đề cập đến các tùy chọn bạn nên cấu hình và áp dụng ngay khi phát triển ứng dụng, cũng như các giá trị tùy chọn tôi đã sử dụng trong quá trình phát triển. Những hướng dẫn này sẽ giúp bạn giảm thiểu việc thử nghiệm và sai sót, đồng thời triển khai ứng dụng Kafka lên môi trường sản xuất nhanh hơn.

4️⃣ Thiết kế kiến trúc dữ liệu luồng bằng Apache Kafka

Chỉ riêng các tính năng và tùy chọn của Kafka đã bị hạn chế trong việc xử lý dữ liệu phát trực tuyến. Khả năng sử dụng của Kafka thay đổi đáng kể tùy thuộc vào công nghệ và phương pháp được sử dụng. Bài giảng này không chỉ cung cấp giải thích kỹ thuật mà còn hướng dẫn cách áp dụng các kiến trúc dựa trên Kafka vào thực tế thông qua các loại hình, lịch sử và các nghiên cứu điển hình của các kiến trúc dựa trên Kafka.

H. Tôi có cần phải mua sách [Lập trình ứng dụng Apache Kafka với Java] để tham gia khóa học này không?

Các kỹ thuật và mã được trình bày ở đây dựa trên "Lập trình Ứng dụng Apache Kafka với Java". Tuy nhiên, vì tất cả tài liệu được trình bày trong khóa học này đều ở định dạng PDF, bạn không nhất thiết phải mua sách. Nếu bạn muốn tìm hiểu và xem lại nội dung bổ sung (MirrorMaker2, AWS MSK, v.v.), việc mua sách này là một lựa chọn tuyệt vời.

H. Sinh viên không chuyên ngành cũng có thể tham gia khóa học này không?

Khóa học này giải thích một cách trung thực các khái niệm cơ bản của Apache Kafka và đi sâu vào các tính năng và tùy chọn cần thiết cho môi trường phát triển thực tế. Hơn nữa, khóa học được thiết kế sao cho ngay cả những người chưa quen thuộc với các phần mềm hoặc nền tảng dữ liệu lớn khác cũng có thể dễ dàng nắm bắt các khái niệm, rất lý tưởng cho những người không chuyên ngành đang tìm kiếm sự nghiệp kỹ sư dữ liệu.

H. Tại sao nên học bằng Java? Tôi vẫn có thể học mà không cần biết Java chứ?

Các thư viện chính thức được cung cấp và hỗ trợ bởi Apache Kafka mã nguồn mở là Java. Hơn nữa, việc phát triển Kafka Connect và Kafka Streams yêu cầu các thư viện Java chính thức làm phụ thuộc. Do đó, để thực sự đánh giá cao giá trị của Apache Kafka mã nguồn mở, bạn phải phát triển các ứng dụng dựa trên Java (producer, consumer, Stream và Connect). Các thư viện của bên thứ ba (ở các ngôn ngữ khác) không cung cấp cùng chức năng và không thể đảm bảo khả năng tương thích hoàn hảo, vì vậy khóa học này được viết bằng Java.

Đừng lo lắng nếu bạn không quen với Java. Mã được giải thích từng dòng một, vì vậy bạn có thể dễ dàng theo dõi.

H. Tôi có cần MacBook để tham gia khóa đào tạo không?

Không, bạn có thể thực hành trên các hệ điều hành khác ngoài MacBook. Mặc dù bài giảng và môi trường thực hành được xây dựng trên MacBook, các tập lệnh được thiết kế để chạy trên Windows hoặc Linux, miễn là JVM đang chạy. Vì vậy, đừng lo lắng ngay cả khi bạn không có MacBook.

Học viên sử dụng Windows có thể cần thiết lập môi trường phát triển WSL để chạy các tập lệnh shell. Để biết hướng dẫn chi tiết, vui lòng tham khảo mục Thiết lập Môi trường Phát triển WSL (liên kết) .

H. Yêu cầu cấu hình máy tính nào cho khóa đào tạo?

Để chạy ZooKeeper và Kafka broker cục bộ và thực hiện các bài tập, bạn cần máy tính xách tay hoặc máy tính để bàn có ít nhất 8GB bộ nhớ. Khuyến nghị CPU i3 (3GHz) trở lên. Cuối cùng, bạn cần ít nhất 1GB dung lượng trống trên ổ SSD hoặc ổ cứng để lưu trữ.