강의

멘토링

로드맵

Inflearn brand logo image
BEST
Data Science

/

Data Engineering

Hướng dẫn đầy đủ về Kafka - Connect

Thông qua các giải thích lý thuyết chuyên sâu về Kafka Connect và đào tạo thực tế chi tiết ở cấp độ có thể sử dụng ngay tại hiện trường, chúng tôi sẽ phát triển bạn thành chuyên gia về tích hợp dữ liệu dựa trên Kafka Connect và xây dựng đường truyền dữ liệu cần thiết trong lĩnh vực này. .

(4.9) 26 đánh giá

737 học viên

  • dooleyz3525
데이터수집
카프카
kafka
백엔드
데이터사이언스
Kafka
Data Engineering

Đánh giá từ những học viên đầu tiên

Dịch cái này sang tiếng Việt

  • Cơ chế cốt lõi của các thành phần chính của Kafka Connect

  • Hiểu biết và ứng dụng thực tế các kỹ thuật của CDC (Change Data Capture)

  • Hiểu và ứng dụng thực tế về sao chép dữ liệu MySQL và CDC (Change Data Capture)

  • Cơ chế và tính năng cốt lõi của Debezium CDC Source Connector

  • Kết nối dữ liệu giữa RDBMS bằng trình kết nối nguồn Debezium CDC

  • Bí quyết xây dựng hệ thống liên kết dựa trên Debizium Connect

  • Thiết lập và vận hành môi trường Source Connector và Sink Connector dựa trên JDBC

  • Ứng dụng các lớp SMT khác nhau để chuyển đổi tin nhắn

  • Quản lý kết nối bằng REST API

  • Sử dụng Schema Register và tích hợp với Connect

  • Quản lý sổ đăng ký lược đồ bằng API REST

Kết nối cho các Thực hành Apache Kafka,
Từ nguyên lý đến ứng dụng thực tế, mọi thứ đều rõ ràng!

Để liên kết dữ liệu thời gian thực mạnh mẽ
Kết nối Kafka.

Giải pháp nguồn mở tốt nhất cho việc tích hợp thời gian thực giữa nhiều hệ thống dữ liệu khác nhau!

Kafka Connect cho phép bạn dễ dàng, nhanh chóng và đáng tin cậy xây dựng các kết nối dữ liệu thời gian thực giữa nhiều hệ thống khác nhau thông qua các trình kết nối được xây dựng sẵn mà không cần bất kỳ triển khai mã hóa riêng biệt nào.

Nhiều công ty nước ngoài đã áp dụng Kafka Connect, và tại Hàn Quốc, do Kafka Connect được sử dụng để tích hợp giữa các hệ thống dữ liệu không đồng nhất và xây dựng các đường ống dữ liệu doanh nghiệp, nhu cầu về nhân lực có kỹ năng thực tế về Kafka và Kafka Connect đang ngày càng tăng. Tuy nhiên, đáng tiếc là tài liệu học tập về Kafka Connect vẫn còn khan hiếm. Sách vở, tài liệu và bài giảng chỉ cung cấp thông tin cơ bản và hời hợt, gây khó khăn cho việc đào tạo những cá nhân có kỹ năng thực tế cần thiết cho công việc thực tế.

Chúng tôi sẽ hướng dẫn bạn trở thành chuyên gia Kafka Connect mà bạn mong muốn trong lĩnh vực này.

chi tiết
Mô tả cơ chế

Trình độ thực hành
Nhiều ví dụ khác nhau

Giải quyết vấn đề
Được rồi vào phòng

Khóa học này bao gồm Kafka Connect ở mức độ chi tiết và thực tiễn vượt trội so với bất kỳ bài giảng hay cuốn sách nào khác. Thông qua phần giải thích chi tiết về cơ chế hoạt động của các thành phần cốt lõi của Kafka Connect và nhiều ví dụ thực hành minh họa các phương pháp tích hợp dữ liệu và quản lý vận hành khác nhau bằng Connect , chúng tôi mong muốn giúp bạn trở thành một chuyên gia Kafka Connect được săn đón trong lĩnh vực này .

Trên hết, bạn sẽ có thể thành thạo tích hợp dữ liệu Kafka Connect dựa trên CDC.

Hầu hết các hệ thống dữ liệu cốt lõi của doanh nghiệp đều là RDBMS. Việc tích hợp thời gian thực các cơ sở dữ liệu riêng biệt về mặt vật lý hiện nay được thống trị bởi Change Data Capture (CDC) . CDC là một kỹ thuật tích hợp dữ liệu tuyệt vời, cho phép tích hợp thời gian thực lượng dữ liệu lớn mà không bị chậm trễ, đồng thời giảm thiểu tải hệ thống. Debezium Connector là giải pháp CDC hàng đầu sử dụng Kafka Connect để cho phép tích hợp dữ liệu giữa các RDBMS khác nhau.

Nhiều công ty đang tìm kiếm nhân tài có khả năng xử lý các kết nối dựa trên CDC. Do đó, khóa học này sẽ cung cấp giải thích lý thuyết và thực hành chi tiết về cơ chế của CDC và Debezium Connector, cấu hình và triển khai, cũng như các vấn đề và giải pháp khác nhau có thể phát sinh khi áp dụng Debezium vào sản xuất.


Các tính năng độc đáo của khóa học này
Hãy xem thử nhé.

Hiểu các thành phần chính của Kafka Connect thông qua các giải thích chi tiết và thực hành thực tế.

Chúng tôi sẽ cung cấp cho bạn những giải thích chi tiết và thực hành thực tế để có được kiến thức cơ bản cốt lõi về Cụm kết nối, Bộ kết nối, SMT (Biến đổi tin nhắn đơn), Bộ chuyển đổi, v.v., cho phép bạn sử dụng chúng một cách thoải mái.

Cấu hình môi trường và thực hành vận hành cho các đầu nối khác nhau

Chúng tôi giúp bạn xây dựng hệ thống liên kết dữ liệu thực tế dựa trên Kafka thông qua nhiều tham số cấu hình kết nối, cơ chế nội bộ và nhiều phương pháp ứng dụng khác nhau có thể áp dụng cho môi trường vận hành RDBMS, chẳng hạn như SpoolDir Source, JDBC Source/Sink và Debezium Source Connector.

Giải thích chi tiết về cơ chế Debizium CDC Source Connector, nhiều bài tập thực hành và các vấn đề tiềm ẩn cũng như giải pháp!

Chúng tôi đã đề cập nhiều về trình kết nối nguồn Debezium CDC. Chúng tôi sẽ cung cấp hướng dẫn chi tiết về cách xây dựng kết nối thời gian thực giữa các RDBMS khác nhau trong môi trường sản xuất RDBMS bằng cách sử dụng Debezium CDC và JDBC Sink Connector.

Hiểu và sử dụng Avro và Schema Registry

Chúng tôi sẽ trình bày chi tiết về việc chuyển giao và quản lý tập trung dữ liệu lược đồ thông qua Connect, Avro và Schema Registry, cũng như khả năng tương thích lược đồ, vốn rất quan trọng trong thực tế. Thông qua đó, bạn sẽ học cách tích hợp Connect và Schema Registry để xây dựng hệ thống tích hợp dữ liệu doanh nghiệp và đường ống dữ liệu hiệu quả, vốn rất cần thiết trong thực tế.

Quản lý Connect và Schema Registry thông qua REST API

Bạn sẽ học cách tạo/sửa đổi/xóa/quản lý các thành phần chính của Connect và Schema Registry thông qua nhiều API REST khác nhau.

Phần thưởng dành cho Kafka Connect Masters!

Chúng tôi cung cấp cho tất cả học viên một giáo trình 200 trang . Chúng tôi hy vọng nó sẽ giúp bạn học Kafka Connect.


Môi trường thực hành 💾

Hệ điều hành máy chủ

Hệ điều hành máy chủ Kafka là Ubuntu Linux 20.04, chạy trên máy ảo Oracle VirtualBox. Mặc dù sử dụng Linux, nhưng Kafka chạy trên máy ảo, phù hợp với cả môi trường Windows và macOS.

VirtualBox có thể được cài đặt trên hầu hết các nền tảng Windows và macOS. Tuy nhiên, VirtualBox không được cài đặt trên các mẫu máy Mac M1 mới nhất. Do đó, bạn phải cài đặt Ubuntu bằng môi trường ảo như UTM. Đối với các mẫu máy M1, vui lòng đảm bảo Ubuntu có thể được cài đặt trong môi trường ảo trước khi chọn khóa học.

Kafka hợp lưu
Phiên bản cộng đồng

Kafka sử dụng Confluent Kafka Community Edition phiên bản 7.1.2, không phải Apache Kafka.

Confluent, được thành lập bởi đội ngũ nòng cốt đằng sau Kafka, cung cấp Kafka cấp doanh nghiệp với hiệu suất và sự tiện lợi vượt trội cho khách hàng doanh nghiệp. Confluent tương thích 100% với Apache Kafka, đồng thời cung cấp quyền truy cập vào nhiều module Kafka và tệp nhị phân tích hợp hơn. Với Confluent, bạn có thể tận dụng hệ thống Kafka phân tán mạnh mẽ ở dạng linh hoạt và có khả năng mở rộng hơn. Điều này giúp giảm gánh nặng triển khai và bảo trì cơ sở hạ tầng, đồng thời đẩy nhanh quá trình phát triển.

Hệ quản trị cơ sở dữ liệu quan hệ (RDBMS)

Mặc dù liên kết dữ liệu tệp cũng được cung cấp như một hoạt động thực hành, chẳng hạn như với Spooldir Source Connector, nhưng hầu hết hoạt động liên kết của Connect đều tập trung vào việc liên kết dữ liệu giữa các RDBMS.

Đặc biệt, nhiều bài tập sử dụng cùng một cơ sở dữ liệu MySQL cho cả Source và Sink. Source sử dụng MySQL, trong khi Sink sử dụng PostgreSQL. Các phiên bản được sử dụng trong các bài tập này là MySQL 8.0.31 và PostgreSQL 12 .

Thông số kỹ thuật PC được đề xuất

Cấu hình môi trường phòng thí nghiệm đầy đủ có thể yêu cầu môi trường PC có dung lượng lưu trữ 20-30GB và RAM 4GB trở lên .


Hãy xem phần Hỏi & Đáp 💬

H. Tại sao tôi nên học Kafka Connect?

Kafka Connect là thành phần cốt lõi cho việc tích hợp dữ liệu dựa trên Kafka . Nhiều công ty đã áp dụng Kafka đang tận dụng hiệu quả Kafka Connect để dễ dàng xây dựng các đường ống dữ liệu quy mô lớn.

Kafka Connect được sử dụng để kết nối các hệ thống dữ liệu không đồng nhất, bao gồm các RDBMS chính như Oracle, MySQL và PostgreSQL, cũng như các hệ thống NoSQL như MongoDB và ElasticSearch, và các hệ thống DW như RedShift, SnowFlake, Vertica và Teradata, thông qua hơn 120 đầu nối khác nhau.

Kafka Connect cho phép kết nối/tích hợp dễ dàng các hệ thống dữ liệu không đồng nhất mà không cần triển khai mã hóa riêng biệt. Đặc biệt, việc sử dụng và khai thác Kafka Connect đang ngày càng phổ biến ở nhiều công ty nhờ những ưu điểm như giảm chi phí kết nối phần mềm thông qua giấy phép cộng đồng và kết nối dữ liệu khối lượng lớn theo thời gian thực mà không bị chậm trễ dựa trên CDC.

Nếu bạn thành thạo Kafka Connect thông qua khóa học này, bạn sẽ có thể tiến thêm một bước để trở thành chuyên gia Kafka mà các công ty mong muốn.

H. Tôi có nên học bài giảng trước "Hướng dẫn đầy đủ về Kafka - Cốt lõi" không?

Sẽ tốt hơn nếu bạn tham gia bài giảng trước, Kafka Complete Guide - Core Edition, nhưng ngay cả khi bạn không tham gia bài giảng, nếu bạn hiểu rõ các khái niệm cơ bản của Kafka, chẳng hạn như Broker, Producer và Consumer, và có kinh nghiệm áp dụng việc gửi và đọc tin nhắn Kafka, bạn có thể tham gia bài giảng này.

H. Tôi có cần phải có kinh nghiệm về RDBMS để tham gia khóa học này không?

Thật không may, khóa học này yêu cầu ít nhất 3 tháng kinh nghiệm về RDBMS .
Bạn có thể làm hầu hết các bài tập trong bài giảng nếu bạn chỉ cần nắm vững những kiến thức cơ bản về tạo bảng và thay đổi cột trong RDBMS. Tuy nhiên, nếu bạn chưa có kinh nghiệm về RDBMS, bạn có thể thấy các bài tập này khó, mặc dù bài giảng giải thích chi tiết về sao chép CDC và RDBMS.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Bất cứ ai muốn hiểu rõ cơ chế bên trong của Kafka Connect và áp dụng vào thực tế

  • Kỹ sư hoặc kiến ​​trúc sư dữ liệu muốn xây dựng đường dẫn dữ liệu doanh nghiệp và hiểu kiến ​​trúc dữ liệu dựa trên CDC

  • Các DBA hoặc người vận hành hệ thống cần vận hành JDBC hoặc Debezium CDC Connector

  • Nhà phát triển DW xem xét liên kết ETL và DB thông qua đồng bộ hóa thời gian thực của DB hoạt động

  • Các nhà phát triển và kiến ​​trúc sư đang cân nhắc các phương pháp liên kết dữ liệu dựa trên CDC khi xây dựng kiến ​​trúc dựa trên vi dịch vụ

Cần biết trước khi bắt đầu?

  • Kiến thức cơ bản về Nhà môi giới, Nhà sản xuất và Người tiêu dùng Kafka

  • Hơn 3 tháng kinh nghiệm phát triển hoặc vận hành RDBMS

Xin chào
Đây là

26,053

Học viên

1,289

Đánh giá

3,969

Trả lời

4.9

Xếp hạng

13

Các khóa học

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

Chương trình giảng dạy

Tất cả

147 bài giảng ∙ (24giờ 35phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

26 đánh giá

4.9

26 đánh giá

  • jongho97.han님의 프로필 이미지
    jongho97.han

    Đánh giá 15

    Đánh giá trung bình 5.0

    5

    61% đã tham gia

    • 나재헌님의 프로필 이미지
      나재헌

      Đánh giá 2

      Đánh giá trung bình 5.0

      5

      31% đã tham gia

      • 재찬님의 프로필 이미지
        재찬

        Đánh giá 6

        Đánh giá trung bình 5.0

        5

        31% đã tham gia

        • 조영진님의 프로필 이미지
          조영진

          Đánh giá 3

          Đánh giá trung bình 5.0

          5

          31% đã tham gia

          • 권 철민
            Giảng viên

            좋은 수강평 감사드립니다 ^^

        • 잉여인간님의 프로필 이미지
          잉여인간

          Đánh giá 44

          Đánh giá trung bình 5.0

          5

          100% đã tham gia

          강의 자료가 잘 준비되어있어서 실습 하는데 막힘 없었습니다. 정말 재미있게 수강했습니다.

          • 권 철민
            Giảng viên

            재미있게 수강하셨다니 저도 뿌듯합니다. 좋은 수강평 감사드립니다.

        2.091.801 ₫

        Khóa học khác của dooleyz3525

        Hãy khám phá các khóa học khác của giảng viên!

        Khóa học tương tự

        Khám phá các khóa học khác trong cùng lĩnh vực!