![[개정판] 파이썬 머신러닝 완벽 가이드Course Thumbnail](https://cdn.inflearn.com/public/courses/324238/cover/7e380aa0-48ba-4ee7-a6b2-8da7900568d6/324238-eng.png?w=420)
[개정판] 파이썬 머신러닝 완벽 가이드
권 철민
이론 위주의 머신러닝 강좌에서 탈피하여 머신러닝의 핵심 개념을 쉽게 이해함과 동시에 실전 머신러닝 애플리케이션 구현 능력을 갖출 수 있도록 만들어 드립니다.
Basic
Python, 머신러닝, 통계
Thông qua các giải thích lý thuyết chuyên sâu về Kafka Connect và đào tạo thực tế chi tiết ở cấp độ có thể sử dụng ngay tại hiện trường, chúng tôi sẽ phát triển bạn thành chuyên gia về tích hợp dữ liệu dựa trên Kafka Connect và xây dựng đường truyền dữ liệu cần thiết trong lĩnh vực này. .
Cơ chế cốt lõi của các thành phần chính của Kafka Connect
Hiểu biết và ứng dụng thực tế các kỹ thuật của CDC (Change Data Capture)
Hiểu và ứng dụng thực tế về sao chép dữ liệu MySQL và CDC (Change Data Capture)
Cơ chế và tính năng cốt lõi của Debezium CDC Source Connector
Kết nối dữ liệu giữa RDBMS bằng trình kết nối nguồn Debezium CDC
Bí quyết xây dựng hệ thống liên kết dựa trên Debizium Connect
Thiết lập và vận hành môi trường Source Connector và Sink Connector dựa trên JDBC
Ứng dụng các lớp SMT khác nhau để chuyển đổi tin nhắn
Quản lý kết nối bằng REST API
Sử dụng Schema Register và tích hợp với Connect
Quản lý sổ đăng ký lược đồ bằng API REST
Kết nối cho các Thực hành Apache Kafka,
Từ nguyên lý đến ứng dụng thực tế, mọi thứ đều rõ ràng!
Kafka Connect cho phép bạn dễ dàng, nhanh chóng và đáng tin cậy xây dựng các kết nối dữ liệu thời gian thực giữa nhiều hệ thống khác nhau thông qua các trình kết nối được xây dựng sẵn mà không cần bất kỳ triển khai mã hóa riêng biệt nào.
Nhiều công ty nước ngoài đã áp dụng Kafka Connect, và tại Hàn Quốc, do Kafka Connect được sử dụng để tích hợp giữa các hệ thống dữ liệu không đồng nhất và xây dựng các đường ống dữ liệu doanh nghiệp, nhu cầu về nhân lực có kỹ năng thực tế về Kafka và Kafka Connect đang ngày càng tăng. Tuy nhiên, đáng tiếc là tài liệu học tập về Kafka Connect vẫn còn khan hiếm. Sách vở, tài liệu và bài giảng chỉ cung cấp thông tin cơ bản và hời hợt, gây khó khăn cho việc đào tạo những cá nhân có kỹ năng thực tế cần thiết cho công việc thực tế.
chi tiết
Mô tả cơ chế
Trình độ thực hành
Nhiều ví dụ khác nhau
Giải quyết vấn đề
Được rồi vào phòng
Khóa học này bao gồm Kafka Connect ở mức độ chi tiết và thực tiễn vượt trội so với bất kỳ bài giảng hay cuốn sách nào khác. Thông qua phần giải thích chi tiết về cơ chế hoạt động của các thành phần cốt lõi của Kafka Connect và nhiều ví dụ thực hành minh họa các phương pháp tích hợp dữ liệu và quản lý vận hành khác nhau bằng Connect , chúng tôi mong muốn giúp bạn trở thành một chuyên gia Kafka Connect được săn đón trong lĩnh vực này .
Hầu hết các hệ thống dữ liệu cốt lõi của doanh nghiệp đều là RDBMS. Việc tích hợp thời gian thực các cơ sở dữ liệu riêng biệt về mặt vật lý hiện nay được thống trị bởi Change Data Capture (CDC) . CDC là một kỹ thuật tích hợp dữ liệu tuyệt vời, cho phép tích hợp thời gian thực lượng dữ liệu lớn mà không bị chậm trễ, đồng thời giảm thiểu tải hệ thống. Debezium Connector là giải pháp CDC hàng đầu sử dụng Kafka Connect để cho phép tích hợp dữ liệu giữa các RDBMS khác nhau.
Nhiều công ty đang tìm kiếm nhân tài có khả năng xử lý các kết nối dựa trên CDC. Do đó, khóa học này sẽ cung cấp giải thích lý thuyết và thực hành chi tiết về cơ chế của CDC và Debezium Connector, cấu hình và triển khai, cũng như các vấn đề và giải pháp khác nhau có thể phát sinh khi áp dụng Debezium vào sản xuất.
Chúng tôi sẽ cung cấp cho bạn những giải thích chi tiết và thực hành thực tế để có được kiến thức cơ bản cốt lõi về Cụm kết nối, Bộ kết nối, SMT (Biến đổi tin nhắn đơn), Bộ chuyển đổi, v.v., cho phép bạn sử dụng chúng một cách thoải mái.
Chúng tôi giúp bạn xây dựng hệ thống liên kết dữ liệu thực tế dựa trên Kafka thông qua nhiều tham số cấu hình kết nối, cơ chế nội bộ và nhiều phương pháp ứng dụng khác nhau có thể áp dụng cho môi trường vận hành RDBMS, chẳng hạn như SpoolDir Source, JDBC Source/Sink và Debezium Source Connector.
Chúng tôi đã đề cập nhiều về trình kết nối nguồn Debezium CDC. Chúng tôi sẽ cung cấp hướng dẫn chi tiết về cách xây dựng kết nối thời gian thực giữa các RDBMS khác nhau trong môi trường sản xuất RDBMS bằng cách sử dụng Debezium CDC và JDBC Sink Connector.
Chúng tôi sẽ trình bày chi tiết về việc chuyển giao và quản lý tập trung dữ liệu lược đồ thông qua Connect, Avro và Schema Registry, cũng như khả năng tương thích lược đồ, vốn rất quan trọng trong thực tế. Thông qua đó, bạn sẽ học cách tích hợp Connect và Schema Registry để xây dựng hệ thống tích hợp dữ liệu doanh nghiệp và đường ống dữ liệu hiệu quả, vốn rất cần thiết trong thực tế.
Bạn sẽ học cách tạo/sửa đổi/xóa/quản lý các thành phần chính của Connect và Schema Registry thông qua nhiều API REST khác nhau.
Chúng tôi cung cấp cho tất cả học viên một giáo trình 200 trang . Chúng tôi hy vọng nó sẽ giúp bạn học Kafka Connect.
Hệ điều hành máy chủ Kafka là Ubuntu Linux 20.04, chạy trên máy ảo Oracle VirtualBox. Mặc dù sử dụng Linux, nhưng Kafka chạy trên máy ảo, phù hợp với cả môi trường Windows và macOS.
VirtualBox có thể được cài đặt trên hầu hết các nền tảng Windows và macOS. Tuy nhiên, VirtualBox không được cài đặt trên các mẫu máy Mac M1 mới nhất. Do đó, bạn phải cài đặt Ubuntu bằng môi trường ảo như UTM. Đối với các mẫu máy M1, vui lòng đảm bảo Ubuntu có thể được cài đặt trong môi trường ảo trước khi chọn khóa học.
Kafka sử dụng Confluent Kafka Community Edition phiên bản 7.1.2, không phải Apache Kafka.
Confluent, được thành lập bởi đội ngũ nòng cốt đằng sau Kafka, cung cấp Kafka cấp doanh nghiệp với hiệu suất và sự tiện lợi vượt trội cho khách hàng doanh nghiệp. Confluent tương thích 100% với Apache Kafka, đồng thời cung cấp quyền truy cập vào nhiều module Kafka và tệp nhị phân tích hợp hơn. Với Confluent, bạn có thể tận dụng hệ thống Kafka phân tán mạnh mẽ ở dạng linh hoạt và có khả năng mở rộng hơn. Điều này giúp giảm gánh nặng triển khai và bảo trì cơ sở hạ tầng, đồng thời đẩy nhanh quá trình phát triển.
Mặc dù liên kết dữ liệu tệp cũng được cung cấp như một hoạt động thực hành, chẳng hạn như với Spooldir Source Connector, nhưng hầu hết hoạt động liên kết của Connect đều tập trung vào việc liên kết dữ liệu giữa các RDBMS.
Đặc biệt, nhiều bài tập sử dụng cùng một cơ sở dữ liệu MySQL cho cả Source và Sink. Source sử dụng MySQL, trong khi Sink sử dụng PostgreSQL. Các phiên bản được sử dụng trong các bài tập này là MySQL 8.0.31 và PostgreSQL 12 .
Cấu hình môi trường phòng thí nghiệm đầy đủ có thể yêu cầu môi trường PC có dung lượng lưu trữ 20-30GB và RAM 4GB trở lên .
H. Tại sao tôi nên học Kafka Connect?
Kafka Connect là thành phần cốt lõi cho việc tích hợp dữ liệu dựa trên Kafka . Nhiều công ty đã áp dụng Kafka đang tận dụng hiệu quả Kafka Connect để dễ dàng xây dựng các đường ống dữ liệu quy mô lớn.
Kafka Connect được sử dụng để kết nối các hệ thống dữ liệu không đồng nhất, bao gồm các RDBMS chính như Oracle, MySQL và PostgreSQL, cũng như các hệ thống NoSQL như MongoDB và ElasticSearch, và các hệ thống DW như RedShift, SnowFlake, Vertica và Teradata, thông qua hơn 120 đầu nối khác nhau.
Kafka Connect cho phép kết nối/tích hợp dễ dàng các hệ thống dữ liệu không đồng nhất mà không cần triển khai mã hóa riêng biệt. Đặc biệt, việc sử dụng và khai thác Kafka Connect đang ngày càng phổ biến ở nhiều công ty nhờ những ưu điểm như giảm chi phí kết nối phần mềm thông qua giấy phép cộng đồng và kết nối dữ liệu khối lượng lớn theo thời gian thực mà không bị chậm trễ dựa trên CDC.
Nếu bạn thành thạo Kafka Connect thông qua khóa học này, bạn sẽ có thể tiến thêm một bước để trở thành chuyên gia Kafka mà các công ty mong muốn.
H. Tôi có nên học bài giảng trước "Hướng dẫn đầy đủ về Kafka - Cốt lõi" không?
Sẽ tốt hơn nếu bạn tham gia bài giảng trước, Kafka Complete Guide - Core Edition, nhưng ngay cả khi bạn không tham gia bài giảng, nếu bạn hiểu rõ các khái niệm cơ bản của Kafka, chẳng hạn như Broker, Producer và Consumer, và có kinh nghiệm áp dụng việc gửi và đọc tin nhắn Kafka, bạn có thể tham gia bài giảng này.
H. Tôi có cần phải có kinh nghiệm về RDBMS để tham gia khóa học này không?
Thật không may, khóa học này yêu cầu ít nhất 3 tháng kinh nghiệm về RDBMS .
Bạn có thể làm hầu hết các bài tập trong bài giảng nếu bạn chỉ cần nắm vững những kiến thức cơ bản về tạo bảng và thay đổi cột trong RDBMS. Tuy nhiên, nếu bạn chưa có kinh nghiệm về RDBMS, bạn có thể thấy các bài tập này khó, mặc dù bài giảng giải thích chi tiết về sao chép CDC và RDBMS.
Khóa học này dành cho ai?
Bất cứ ai muốn hiểu rõ cơ chế bên trong của Kafka Connect và áp dụng vào thực tế
Kỹ sư hoặc kiến trúc sư dữ liệu muốn xây dựng đường dẫn dữ liệu doanh nghiệp và hiểu kiến trúc dữ liệu dựa trên CDC
Các DBA hoặc người vận hành hệ thống cần vận hành JDBC hoặc Debezium CDC Connector
Nhà phát triển DW xem xét liên kết ETL và DB thông qua đồng bộ hóa thời gian thực của DB hoạt động
Các nhà phát triển và kiến trúc sư đang cân nhắc các phương pháp liên kết dữ liệu dựa trên CDC khi xây dựng kiến trúc dựa trên vi dịch vụ
Cần biết trước khi bắt đầu?
Kiến thức cơ bản về Nhà môi giới, Nhà sản xuất và Người tiêu dùng Kafka
Hơn 3 tháng kinh nghiệm phát triển hoặc vận hành RDBMS
26,053
Học viên
1,289
Đánh giá
3,969
Trả lời
4.9
Xếp hạng
13
Các khóa học
(전) 엔코아 컨설팅
(전) 한국 오라클
AI 프리랜서 컨설턴트
파이썬 머신러닝 완벽 가이드 저자
Tất cả
147 bài giảng ∙ (24giờ 35phút)
Tài liệu khóa học:
Tất cả
26 đánh giá
4.9
26 đánh giá
Đánh giá 15
∙
Đánh giá trung bình 5.0
Đánh giá 2
∙
Đánh giá trung bình 5.0
Đánh giá 6
∙
Đánh giá trung bình 5.0
2.091.801 ₫
Hãy khám phá các khóa học khác của giảng viên!
Khám phá các khóa học khác trong cùng lĩnh vực!