Hướng dẫn đầy đủ về Kafka - Connect
Thông qua các giải thích lý thuyết chuyên sâu về Kafka Connect và đào tạo thực tế chi tiết ở cấp độ có thể sử dụng ngay tại hiện trường, chúng tôi sẽ phát triển bạn thành chuyên gia về tích hợp dữ liệu dựa trên Kafka Connect và xây dựng đường truyền dữ liệu cần thiết trong lĩnh vực này. .
Khóa học này dành cho Người học Trung cấp.
Dịch cái này sang tiếng Việt
Cơ chế cốt lõi của các thành phần chính của Kafka Connect
Hiểu biết và ứng dụng thực tế các kỹ thuật của CDC (Change Data Capture)
Hiểu và ứng dụng thực tế về sao chép dữ liệu MySQL và CDC (Change Data Capture)
Cơ chế và tính năng cốt lõi của Debezium CDC Source Connector
Kết nối dữ liệu giữa RDBMS bằng trình kết nối nguồn Debezium CDC
Bí quyết xây dựng hệ thống liên kết dựa trên Debizium Connect
Thiết lập và vận hành môi trường Source Connector và Sink Connector dựa trên JDBC
Ứng dụng các lớp SMT khác nhau để chuyển đổi tin nhắn
Quản lý kết nối bằng REST API
Sử dụng Schema Register và tích hợp với Connect
Quản lý sổ đăng ký lược đồ bằng API REST
Kết nối để thực hành Apache Kafka,
Chắc chắn là từ nguyên tắc đến ứng dụng thực tế!
Để tích hợp dữ liệu thời gian thực mạnh mẽ
Kết nối Kafka.
Giải pháp nguồn mở tốt nhất để tích hợp thời gian thực giữa các hệ thống dữ liệu khác nhau!
Kafka Connect giúp việc xây dựng kết nối dữ liệu theo thời gian thực giữa các hệ thống khác nhau dễ dàng, nhanh chóng và ổn định thông qua các trình kết nối đã được tạo sẵn mà không cần triển khai mã hóa bổ sung.
Nhiều công ty ở nước ngoài đã giới thiệu Kafka Connect và cả trong nước, nhu cầu về nhân tài có khả năng thực tế trong Kafka và Kafka Connect ngày càng tăng do Kafka Connect được sử dụng để tích hợp các hệ thống dữ liệu không đồng nhất và xây dựng đường dẫn dữ liệu doanh nghiệp. Nhưng thật không may, tài liệu học tập cho Kafka Connect vẫn còn thiếu. Vì bạn chỉ có thể tìm thấy những cuốn sách/tài liệu/bài giảng chỉ cung cấp những thông tin ở mức độ cơ bản và hời hợt nên rất khó để đào tạo nguồn nhân lực có trình độ năng lực thực tế như mong muốn.
Chúng tôi sẽ hướng dẫn bạn phát triển thành chuyên gia Kafka Connect mà bạn mong muốn trong thực tế.
chi tiết
Mô tả cơ chế
mức độ thực tế
Nhiều ví dụ khác nhau
giải quyết vấn đề
Được rồi về phòng thôi
Khóa học này bao gồm Kafka Connect ở mức độ chi tiết và thực tế chưa từng có trong bất kỳ bài giảng hoặc cuốn sách nào trước đây. Chúng tôi sẽ giúp bạn phát triển thành chuyên gia Kafka Connect mà bạn cần trong lĩnh vực này thông qua các giải thích cơ chế chi tiết về các thành phần cốt lõi của Kafka Connect và nhiều ví dụ thực tế bao gồm các hoạt động tích hợp dữ liệu và quản lý vận hành khác nhau bằng Connect.
Trên hết, bạn có thể tìm hiểu rõ ràng về việc tích hợp dữ liệu Kafka Connect dựa trên CDC.
Hầu hết các hệ thống dữ liệu quan trọng của công ty là RDBMS. CDC (Thu thập dữ liệu thay đổi) là xu hướng liên kết thời gian thực của các cơ sở dữ liệu tách biệt về mặt vật lý. CDC là một kỹ thuật liên kết dữ liệu tuyệt vời có thể liên kết lượng lớn dữ liệu trong thời gian thực mà không bị chậm trễ trong khi giảm thiểu tải hệ thống. Debezium Connector là giải pháp CDC tiêu biểu nhất cho phép dữ liệu được liên kết giữa các RDBMS khác nhau bằng Kafka Connect.
Nhiều công ty đang yêu cầu nhân sự có thể xử lý các kết nối dựa trên CDC. Theo đó, trong bài giảng này, chúng tôi sẽ giải thích chi tiết về cơ chế, cài đặt môi trường và phương pháp ứng dụng của CDC và Debezium Connector, cũng như các vấn đề khác nhau có thể phát sinh khi áp dụng Debezium vào doanh nghiệp và các giải pháp thu được thông qua giải thích và thực hành lý thuyết chi tiết.
Các tính năng độc đáo của khóa học này
Hãy kiểm tra nó.
Hiểu các thành phần chính của Kafka Connect thông qua các giải thích và thực hành chi tiết.
Thông qua các giải thích và thực hành chi tiết, chúng tôi sẽ cung cấp cho bạn kiến thức cốt lõi về Connect Cluster, Connector, SMT (Single Message Transform) và Converter ở mức độ mà bạn có thể sử dụng thoải mái.
Cấu hình môi trường và thực hành vận hành cho các đầu nối khác nhau
Chúng tôi giúp bạn xây dựng hệ thống kết nối dữ liệu thực tế dựa trên Kafka thông qua các tham số cấu hình và cơ chế bên trong của nhiều trình kết nối khác nhau có thể áp dụng cho môi trường vận hành RDBMS, chẳng hạn như SpoolDir Source, JDBC Source/Sink và Debezium Source Connector, cũng như các bài tập ứng dụng khác nhau .
Giải thích chi tiết về cơ chế của trình kết nối nguồn Debizium CDC, các bài tập khác nhau và thậm chí cả các vấn đề và giải pháp có thể phát sinh!
Nó chứa rất nhiều thông tin về đầu nối nguồn Debezium CDC. Chúng tôi cung cấp hướng dẫn chi tiết về cách thiết lập kết nối thời gian thực giữa các RDBMS ở xa thông qua Debezium CDC và JDBC Sink Connector trong môi trường vận hành RDBMS.
Hiểu và sử dụng Avro và Schema Register
Chúng tôi sẽ giải thích chi tiết không chỉ Connect mà còn cả việc truyền và quản lý tập trung dữ liệu lược đồ thông qua Avro và sổ đăng ký lược đồ, cũng như đặc biệt là khả năng tương thích lược đồ, điều này rất quan trọng trong thực tế. Thông qua đó, bạn có thể tìm hiểu cách xây dựng đường dẫn dữ liệu và tích hợp dữ liệu doanh nghiệp hiệu quả cần thiết trong thực tế bằng cách liên kết Connect và Schema Register.
Kế hoạch quản lý Kết nối và Đăng ký lược đồ thông qua API REST
Bạn sẽ tìm hiểu cách tạo/sửa đổi/xóa/quản lý các thành phần chính của Connect và Schema Register thông qua các API REST khác nhau.
Phần thưởng dành cho bậc thầy Kafka Connect!
Khoảng 200 trang tài liệu khóa học được cung cấp cho sinh viên. Tôi hy vọng điều này sẽ giúp bạn tìm hiểu Kafka Connect.
Môi trường phòng thí nghiệm 💾
hệ điều hành máy chủ
Hệ điều hành máy chủ Kafka sử dụng Ubuntu Linux 20.04 dựa trên Oracle VirtualBox VM. Mặc dù sử dụng Linux nhưng nó chạy trên cơ sở máy ảo nên có thể được cấu hình trong cả môi trường Windows/macOS.
VirtualBox có thể được cài đặt trong hầu hết các môi trường Windows/macOS. Tuy nhiên, trong trường hợp của Mac, VirtualBox không được cài đặt trên model M1 mới nhất, vì vậy bạn phải cài đặt Ubuntu bằng môi trường ảo như UTM. Đối với mô hình M1, vui lòng đảm bảo rằng Ubuntu được cài đặt trong môi trường ảo trước khi chọn khóa học.
Kafka hợp lưu
phiên bản cộng đồng
Kafka sử dụng Confluent Kafka Community Edition phiên bản 7.1.2, không phải Apache Kafka.
Confluent là một công ty được thành lập bởi những người cốt lõi đã tạo ra Kafka và cung cấp cho doanh nghiệp Kafka hiệu suất được cải thiện và sự tiện lợi cho khách hàng doanh nghiệp. Mặc dù tương thích 100% với Apache Kafka, bạn có thể sử dụng nhiều mô-đun Kafka và các tệp nhị phân tích hợp hơn. Sử dụng Kafka, một hệ thống phân tán mạnh mẽ, ở dạng có thể mở rộng linh hoạt hơn với Confluent. Nó sẽ giúp giảm gánh nặng xây dựng và bảo trì cơ sở hạ tầng và cho phép phát triển nhanh hơn.
RDBMS
Giống như Trình kết nối nguồn Spooldir, liên kết dữ liệu tệp cũng được cung cấp dưới dạng thông lệ, nhưng hầu hết các liên kết thực hành kết nối đều tập trung vào liên kết dữ liệu giữa RDBMS.
Đặc biệt, nhiều bài tập giống nhau với cả Source và Sink đều là MySQL DB, Source cũng được thực hiện với MySQL và Sink với PostgreSQL. Các phiên bản được sử dụng trong phòng thí nghiệm là MySQL 8.0.31 và PostgreSQL 12 .
Thông số kỹ thuật PC được đề xuất
Toàn bộ cấu hình môi trường phòng thí nghiệm có thể yêu cầu môi trường PC có dung lượng lưu trữ từ 20 đến 30 GB và RAM 4 GB trở lên .
Hãy xem phần hỏi đáp 💬
H. Tại sao tôi nên học Kafka Connect?
Kafka Connect là thành phần cốt lõi để tích hợp dữ liệu dựa trên Kafka . Nhiều công ty đã áp dụng Kafka đang sử dụng Kafka Connect một cách hiệu quả để dễ dàng xây dựng các đường dẫn dữ liệu quy mô lớn.
Kafka Connect sử dụng hơn 120 trình kết nối khác nhau để kết nối các hệ thống dữ liệu không đồng nhất khác nhau, bao gồm RDBMS đại diện như Oracle, MySQL và PostgreSQL, cũng như NoSQL như MongoDB và ElasticSearch cũng như các hệ thống DW như RedShift, SnowFlake, Vertica và Teradata. Nó đang được sử dụng.
Các hệ thống dữ liệu không đồng nhất có thể dễ dàng kết nối/tích hợp thông qua Kafka Connect mà không cần triển khai mã hóa riêng biệt. Đặc biệt, nó có những ưu điểm như giảm chi phí S/W kết nối thông qua giấy phép cộng đồng và kết nối dữ liệu lớn theo thời gian thực mà không có thời gian trễ dựa trên CDC. Việc sử dụng và sử dụng nó ngày càng tăng ở nhiều công ty.
Nếu học tốt Kafka Connect thông qua khóa học này, bạn sẽ có thể thăng tiến trở thành chuyên gia Kafka mà các công ty mong muốn.
H. Tôi có cần học bài giảng trước đó, Hướng dẫn đầy đủ về Kafka - Core không?
Sẽ tốt hơn nếu bạn tham gia khóa học trước, Hướng dẫn đầy đủ về Kafka - Cốt lõi, nhưng ngay cả khi bạn không tham gia khóa học, các khái niệm cơ bản về Kafka - Nhà môi giới, Nhà sản xuất và Người tiêu dùng - đã được thiết lập rõ ràng và bạn có kinh nghiệm áp dụng tính năng gửi tin nhắn của Kafka và đọc sách. Nếu bạn có điều này, bạn hoàn toàn có thể tham dự bài giảng này.
H. Tôi có cần phải có kinh nghiệm RDBMS để tham gia khóa học không?
Thật không may, khóa học này yêu cầu ít nhất 3 tháng kinh nghiệm RDBMS .
Về cơ bản, bạn có thể làm hầu hết các bài tập trong bài giảng nếu bạn chỉ hiểu cách tạo bảng RDBMS và thay đổi cột, nhưng sẽ khó thực hành những thứ như sao chép CDC và RDBMS nếu bạn không có một số kinh nghiệm với RDBMS, mặc dù chúng đã được giải thích. một cách chi tiết trong bài giảng bạn có thể cảm nhận được.
Khuyến nghị cho
những người này!
Khóa học này dành cho ai?
Bất cứ ai muốn hiểu rõ cơ chế bên trong của Kafka Connect và áp dụng vào thực tế
Kỹ sư hoặc kiến trúc sư dữ liệu muốn xây dựng đường dẫn dữ liệu doanh nghiệp và hiểu kiến trúc dữ liệu dựa trên CDC
Các DBA hoặc người vận hành hệ thống cần vận hành JDBC hoặc Debezium CDC Connector
Nhà phát triển DW xem xét liên kết ETL và DB thông qua đồng bộ hóa thời gian thực của DB hoạt động
Các nhà phát triển và kiến trúc sư đang cân nhắc các phương pháp liên kết dữ liệu dựa trên CDC khi xây dựng kiến trúc dựa trên vi dịch vụ
Cần biết trước khi bắt đầu?
Kiến thức cơ bản về Nhà môi giới, Nhà sản xuất và Người tiêu dùng Kafka
Hơn 3 tháng kinh nghiệm phát triển hoặc vận hành RDBMS
24,961
Học viên
1,163
Đánh giá
3,917
Trả lời
4.9
Xếp hạng
13
Các khóa học
(전) 엔코아 컨설팅
(전) 한국 오라클
AI 프리랜서 컨설턴트
파이썬 머신러닝 완벽 가이드 저자
Chương trình giảng dạy
Tất cả
147 bài giảng ∙ (24giờ 35phút)
Tài liệu khóa học: