Kafka & Spark được sử dụng cho Realtime Datalake

Name: Kafka & Spark được sử dụng cho Realtime Datalake
Price: 132000 KRW

Khóa học nhập môn Pipeline thời gian thực Kafka & Spark dành cho người mới bắt đầu. Khóa học trọn gói để nắm vững từ khái niệm cốt lõi đến kiến trúc.

(4.9) 18 đánh giá

181 học viên

hyunjinkim

실시간

데이터처리

데이터파이프라인

Kafka

Apache Spark

pyspark

data-lake

kakao-tech

Đánh giá từ những học viên đầu tiên

Dịch cái này sang tiếng Việt

Github, Actions và AWS Code Deploy để triển khai CI/CD
Kafka Broker, Confluent Producer & Consumer
Prometheus & Grafana: Giám sát Kafka Dashboard
Quản lý Catalog cho Spark & Hive Metastore
Thực hiện dự án thực tế dùng Spark Streaming
Kiểm tra tính sẵn sàng của Kafka & Spark, Zookeeper & Yarn

Pipeline dữ liệu thời gian thực, tại sao phải học?

Việc xây dựng pipeline dữ liệu thời gian thực để hỗ trợ phân tích nhanh chóng và ra quyết định không phải là lựa chọn mà là điều bắt buộc.

Marketing cá nhân hóa & đề xuất theo thời gian thực
Phân tích xu hướng thời gian thực
Phát hiện và ứng phó mối đe dọa bảo mật thời gian thực

Đặc biệt trong thời đại ngày nay khi AI đã trở thành nền tảng, tồn tại vô số trường hợp sử dụng AI cho gợi ý thời gian thực, phát hiện, dịch thuật, v.v., và để triển khai những kiến trúc như vậy, ngày càng có nhiều yêu cầu về pipeline dữ liệu thời gian thực.

Đặc điểm của khóa học này

📌 Cấu hình đơn lẻ trên máy cục bộ thì không! Xu hướng chính là cloud. AWS Cloud를 활용합니다.

📌 CI/CD là cơ bản rồi phải không? Chúng ta sẽ cấu hình CI/CD thông qua GitHub Actions và AWS Code Deploy.

📌 Từ cơ bản một cách từ từ, nhưng thông qua thực hành và bài tập để giúp bạn có thể nội hóa nội dung bài giảng.

📌 Máy chủ cấu hình clustertừ việc thiết lập pipeline thời gian thực và kiểm tra tính khả dụngđến cấu hình All in One

Sau khi hoàn thành khóa học

Hiểu được nguyên lý cơ bản về dịch vụ Kafka Broker, hiểu về đảm bảo tính khả dụng và có thể xử lý dịch vụ Broker dựa trên những kiến thức này.
Hiểu được nguyên lý cơ bản và các tùy chọn nâng cao của Kafka Producer/Consumer, đồng thời thông qua việc hiểu Trade-off giữa hiệu suất và tính nhất quán trong môi trường dung lượng lớn, bạn sẽ có thể viết được các Application vững chắc.
Bạn sẽ có thể hiểu các điều kiện để Spark phát huy hiệu suất và viết Application dựa trên các kỹ thuật có thể tối ưu hóa hiệu suất.
Bạn có thể hiểu được tính đa dạng của pipeline thông qua việc liên kết giữa các dịch vụ như AWS S3, Glue, Athena và dịch vụ Spark.

Pipeline có thể được phân chia từ thu thập đến sử dụng.

Chúng ta cần hiểu rõ ở mỗi bước sử dụng công cụ nào, sử dụng như thế nào và chúng liên kết với nhau ra sao.

Do đó, chúng ta không chỉ dừng lại ở việc học Kafka và Spark một cách đơn thuần.

Cuối cùng, hãy xây dựng pipeline thực tế

Trong quá trình đó, bạn sẽ học các phương pháp như CI/CD, kiểm thử tính khả dụng, giải quyết vấn đề và cải thiện hiệu suất.

Tự động hóa thiết lập hạ tầng bằng Ansible

Bạn có nghĩ rằng có quá nhiều việc phải làm để tạo ra tất cả những thứ này không?

Đúng vậy. Rất nhiều.

Có rất nhiều thư viện cần cài đặt và rất nhiều thứ cần phải cấu hình. Nếu có một thứ gì đó không khớp thì sẽ báo lỗi 🤬

Nhưng các bạn chỉ cần chú ý đến nội dung quan trọng là triển khai pipeline thời gian thực.

Việc cấu hình Infra và các thiết lập khác nhau sẽ được tự động hóa thông qua Ansible Script đã được chuẩn bị sẵn.

Ansible Script có thể xem trước tại địa chỉ github dưới đây.

https://github.com/hjkim-sun/datalake-ansible-playbook-season1

Các bạn sẽ clone nội dung của github repository ở trên để dễ dàng tiến hành quá trình thiết lập.

🚨Vui lòng tham khảo trước khi thực hành!

✔ Kafka Client(Producer/Consumer) được viết bằng Python.

Python Kafka Library có nhiều loại khác nhau nhưng trong số đó chúng ta sẽ sử dụng Confluent Kafka Library có hiệu suất tốt nhất. Confluent Kafka là công cụ đảm bảo hiệu suất cao không kém gì Java, chúng ta sẽ học cách viết Producer/Consumer thông qua Python.

✔ Ngôn ngữ Spark cũng được viết bằng Python.

Khi viết Spark Application, ngôn ngữ có hiệu suất tốt nhất là Scala. Tuy nhiên, việc học riêng ngôn ngữ Scala cho Spark chắc chắn là một gánh nặng. Nó có nhược điểm là không phổ biến bằng ngôn ngữ Python và các thư viện liên quan đến deep learning/AI cũng tương đối ít hơn. Vì vậy trong thực tế, nhiều trường hợp sử dụng Python để phát triển chương trình Spark. Đặc biệt nếu xem xét việc tích hợp deep learning/AI, việc viết bằng ngôn ngữ Python có thể là một giải pháp thay thế tuyệt vời.

🚨Chi phí thực hành AWS dự kiến

Thực hành được tiến hành trên AWS Cloud và sẽ phát sinh chi phí thực hành riêng biệt.

✔ Trong một tháng sử dụng khoảng 40 giờ thì chi phí AWS phát sinh khoảng 40.000 won. (Tỷ giá 1.430 làm chuẩn)

Chi phí thực hành chủ yếu phát sinh từ EC2 (dịch vụ điện toán) nên sau khi thực hành & làm bài tập, bạn nhất định phải dừng server instance. Tuy nhiên, các chi phí khác (volume (EBS) và EIP được kết nối với server instance) vẫn phát sinh chi phí ngay cả khi bạn dừng server instance. Do đó, càng hoàn thành khóa học nhanh thì chi phí thực hành AWS càng giảm.

✔ Ngay cả khi tắt tất cả các máy chủ, chi phí cho volume máy chủ vẫn phát sinh khoảng 30,000 won mỗi tháng.

Do đó, ngay cả khi sử dụng cùng 40 giờ nhưng nếu bạn sử dụng trong hai tháng thay vì một tháng thì sẽ phát sinh thêm 30,000 won, tổng cộng khoảng 70,000 won phí AWS. Vì vậy, chúng tôi khuyến nghị bạn nên hoàn thành khóa học càng sớm càng tốt.

✨Giao tiếp

Do đặc thù của khóa học có nhiều tác vụ liên kết với nhiều công cụ khác nhau, trong trường hợp có nội dung thắc mắc hoặc phát sinh lỗi không mong muốn thì việc giao tiếp chỉ thông qua bảng Q&A có thể gặp khó khăn.

(Theo kinh nghiệm, sau khi đăng câu hỏi, tôi sẽ trả lời và việc xác nhận lại mất khoảng 3~4 ngày)

Để giảm bớt những bất tiện trong giao tiếp này và cung cấp dịch vụ chất lượng cao đến cuối khóa học cho các bạn đã đăng ký, chúng tôi muốn vận hành kênh Discord.

https://discord.gg/eTcYzMBxZm

Nội dung về bài giảng cũng được, không phải cũng không sao. Nói chuyện những điều nhỏ nhặt cũng được.

Đây là nơi để giao tiếp thuận lợi nên hãy thoải mái tham gia nhé

Kiến thức cần thiết phải biết trước

Kiến thức cơ bản về Python

Cấu trúc dữ liệu cơ bản và cú pháp cơ bản như if/for/while. Và trình độ có thể viết được các hàm
Các lệnh cơ bản của Linux

Hầu hết các công việc Infra được thực hiện thông qua công cụ tự động hóa Ansible. Tuy nhiên, bạn cần biết các lệnh cơ bản của Linux mới có thể tham gia khóa học. (trình soạn thảo vi, các lệnh cơ bản như cd/mv/rm)
SQL

Kiến thức SQL cơ bản (SELECT, WHERE, JOIN, GROUP BY, ORDER BY, v.v.) sẽ giúp bạn theo dõi dễ dàng hơn rất nhiều.
(Không có SQL khó)

Kiến thức nền tảng được khuyến nghị

Container Docker
Thiết lập các công cụ giám sát bằng cách sử dụng container. Sẽ hữu ích nếu bạn hiểu nguyên lý hoạt động của container.
git
Để thực hiện CI/CD, chúng ta sẽ sử dụng git để tiến hành triển khai code trực tiếp. Tôi sẽ giải thích từng bước cách sử dụng một cách chi tiết, nhưng nếu bạn đã biết trước thì sẽ càng tốt hơn.
Hiểu về Class trong Python
Hầu hết các chương trình Python được thực hành đều được cấu trúc thông qua cấu trúc Class. Do đó, nếu có hiểu biết về Class và lập trình hướng đối tượng thì sẽ dễ dàng hơn khi thực hành
(Không biết cũng không sao. Tôi sẽ giải thích tất cả)

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

Ai muốn học Kafka & Spark
Người muốn học triển khai pipeline thời gian thực
Người cần phát triển nhiều kiến thức và kỹ năng của một Kỹ sư dữ liệu.

Cần biết trước khi bắt đầu?

Khái niệm cơ bản về Python
Kiến thức cơ bản về SQL (mức độ Filter, GroupBy, OrderBy)
Sử dụng lệnh Linux cơ bản được

Xin chào
Đây là

1,100

Học viên

Đánh giá

198

Trả lời

4.9

Xếp hạng

Các khóa học

안녕하세요.

데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.

정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.

반갑습니다. :)

Contact: hjkim_sun@naver.com

Chương trình giảng dạy

Tất cả

113 bài giảng ∙ (28giờ 23phút)

Tài liệu khóa học:

Tài liệu bài giảng

Phần 1. Giới thiệu Data Lake

4 bài giảng ∙ (43phút)

Phần 2. Thiết kế kiến trúc hồ dữ liệu

3 bài giảng ∙ (24phút)

Phần 3. Thiết lập môi trường phát triển

3 bài giảng ∙ (26phút)

8. Cài đặt Git
05:55
9. Cài đặt Python & PyCharm
11:58
10. Tạo & kết nối github repo
08:32

Phần 4. Tạo môi trường AWS

9 bài giảng ∙ (1giờ 57phút)

Phần 5. Thiết lập Kafka

7 bài giảng ∙ (1giờ 55phút)

Phần 6. Tạo Kafka Producer

9 bài giảng ∙ (2giờ 17phút)

Phần 7. Kafka UI và giám sát

3 bài giảng ∙ (54phút)

Phần 8. Xây dựng Kafka Consumer

7 bài giảng ∙ (1giờ 54phút)

Phần 9. Thiết lập và cơ bản Spark

7 bài giảng ∙ (1giờ 49phút)

Phần 10. Cấu hình Spark Cluster

5 bài giảng ∙ (1giờ 21phút)

Phần 11. Hiểu Spark

10 bài giảng ∙ (3giờ 3phút)

Phần 12. Spark SQL

9 bài giảng ∙ (2giờ 5phút)

Phần 13. Spark Streaming

8 bài giảng ∙ (2giờ 11phút)

Phần 14. Cấu hình chương trình Streaming

6 bài giảng ∙ (1giờ 24phút)

Phần 15. Cấu hình Dashboard

1 bài giảng ∙ (17phút)

Phần 16. Spark tối ưu hiệu năng và xử lý sự cố

8 bài giảng ∙ (2giờ 20phút)

Phần 17. Spark Steaming Master

6 bài giảng ∙ (1giờ 21phút)

Phần 18. Kiểm tra khả năng khả dụng

7 bài giảng ∙ (1giờ 37phút)

Phần 19. Lời kết

1 bài giảng ∙ (15phút)

Ngày đăng:

Cập nhật lần cuối:

Đánh giá

Tất cả

18 đánh giá

4.9

18 đánh giá

jusungpark
Đánh giá 17
∙
Đánh giá trung bình 4.9
5
100% đã tham gia
Tôi đã học được rất nhiều từ chương trình giảng dạy và nội dung được tổ chức tốt hơn cả mong đợi. Tôi cảm nhận được rằng bạn đã rất tỉ mỉ trong việc tạo ra khóa học này Tôi sẽ chờ đợi các khóa học tiếp theo Cảm ơn bạn
- hyunjinkim
  Giảng viên
  Cảm ơn bạn 램쥐뱅 về đánh giá khóa học. Khi tôi tạo ra chương trình học này, tôi cũng đã suy nghĩ rất nhiều về cách có thể dạy từ cơ bản một cách vững chắc và kết nối từ Kafka đến spark. Nhờ vậy mà từ việc lên kế hoạch đến hoàn thành khóa học đã mất 1 năm, nhưng khi thấy bạn hiểu và đánh giá cao như vậy thì tôi cảm thấy rất tự hào ^^ Cảm ơn bạn. Khóa học tiếp theo mà tôi đang chuẩn bị không phải là season2 nhưng tôi sẽ cấu trúc với nội dung chất lượng để bạn không phải hối tiếc 😀
ㅈ
Đánh giá 1
∙
Đánh giá trung bình 5.0
Đã chỉnh sửa
5
10% đã tham gia
Thầy Hyunjin đáng tin cậy. Rất khuyến khích. Tôi biết đến thầy từ khóa học airflow và có nhiều điểm khác biệt so với các khóa học khác. Từ khái niệm đến thiết kế kiến trúc, việc thầy giải thích lý do sử dụng và nguyên lý rất hay. Thực hành cũng rất thoải mái. Thầy luôn trả lời các câu hỏi một cách Kind. Mặc dù mới bắt đầu học nhưng tôi sẽ hoàn thành khóa học~ Thời tiết nóng, thầy chăm sóc sức khỏe nhé.
- hyunjinkim
  Giảng viên
  Xin chào anh/chị 역시자네야! Cảm ơn anh/chị rất nhiều vì đã tiếp tục theo dõi sau khóa học airflow! Khi tôi tự học một thứ gì đó, nếu chỉ học cách sử dụng một cách hời hợt mà không nắm được nguyên lý thì tôi sẽ nhanh chóng quên và không hiểu được. Tôi nghĩ các bạn khác cũng vậy nên để truyền đạt nguyên lý mà tôi đã hiểu được, tôi thường dành nhiều thời gian cho việc giảng dạy. Vì vậy tôi phải làm ppt và cũng đang làm bài tập nên hơi vất vả nhưng cảm ơn vì anh/chị đã ghi nhận 😊 Tôi sẽ chuẩn bị tốt cho bài giảng tiếp theo 💪
pcy78054921
Đánh giá 1
∙
Đánh giá trung bình 5.0
Đã chỉnh sửa
5
100% đã tham gia
Đây là một khóa học có chất lượng hoàn thiện rất cao.. Thật sự rất cảm động. Thường khi nghe giảng, không ít lần gặp tình huống 'tại sao làm theo y hệt mà lại không được?', nhưng tôi đã hoàn thành khóa học một cách suôn sẻ mà không gặp phải điều đó. Khi chọn khóa học, tôi xem giáo trình đầu tiên, rồi so sánh giá cả và thời lượng khóa học. Trong thời gian qua, có quá nhiều khóa học chỉ như cưỡi ngựa xem hoa so với giá, nhưng nếu nghe khóa học kafka&spark của Hyun-jin, tôi dám chắc có thể tạo ra kết quả có tính hoàn thiện cao ngay cả trong các dự án sau này! Tôi đã học được rất nhiều, cảm ơn! (Mùa 2 bao giờ sẽ ra mắt nhỉ..?)
- hyunjinkim
  Giảng viên
  Xin chào Chan-yeong nim! Cảm ơn bạn rất nhiều vì lời đánh giá đầy xúc động. Bạn đã hoàn thành khóa học nên chắc chắn hiểu rõ, nhưng nội dung khóa học bao gồm nhiều kiến thức đa dạng từ cấu hình hạ tầng, cấu hình Nginx, cài đặt Docker, đến kiểm thử tính sẵn sàng, thay vì chỉ đơn thuần hướng dẫn các chức năng cơ bản, nên tôi đã rất lo lắng rằng nó sẽ không dễ dàng. Vì vậy, tôi đã chuẩn hóa hết mức có thể bằng ansible-playbook và ngay cả sau khi hoàn thành việc quay bài giảng, tôi cũng đã tự tay thực hành theo bài giảng để kiểm tra xem có chỗ nào không chạy đúng hay không. Và để đề phòng cho những ai gặp khó khăn, tôi còn chuẩn bị cả phòng Discord để tiện giao tiếp. Cuối cùng, dù mất khá nhiều thời gian để đăng tải khóa học, nhưng tôi đã nỗ lực để tạo ra một khóa học hoàn chỉnh nhất có thể. Cảm giác như những khó khăn trước đây đã tan biến khi Chan-yeong nim đã nhận ra công sức đó ^-^ Tôi còn phải cảm ơn bạn nhiều hơn.. Và về Season 2, có lẽ sẽ hơi muộn hơn một chút vì tôi đang chuẩn bị một khóa học liên quan đến AI tạo sinh trước khi bắt đầu. Dù vậy, tôi sẽ cố gắng hết sức để chuẩn bị !
hbin0529
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
30% đã tham gia
seungilpark5471
Đánh giá 4
∙
Đánh giá trung bình 5.0
5
60% đã tham gia

2.784.587 ₫

Khóa học khác của hyunjinkim

Hãy khám phá các khóa học khác của giảng viên!

Lớp học thành thạo Airflow

hyunjinkim

Đây là khóa học về Airflow, công cụ Orchestration giúp tạo và quản lý data pipeline hiệu quả. Chào mừng bạn đến với Airflow Master Class, nơi cả người mới bắt đầu cũng có thể học từng bước!

초급

airflow, Data Engineering, Python

Lớp học thành thạo Airflow

hyunjinkim

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Xây dựng stateful service cho Daeyongrang Chat TPS

July

Chúng tôi sẽ cho bạn biết mọi thứ về các dịch vụ có trạng thái như Chijijik và Afreeca TV, cách xây dựng máy chủ và đảm bảo phân phối không bị gián đoạn.

초급

Go, Kafka, Node.js

Xây dựng stateful service cho Daeyongrang Chat TPS

July

Lớp học thành thạo Airflow

hyunjinkim

초급

airflow, Data Engineering, Python

Lớp học thành thạo Airflow

hyunjinkim

Khái niệm cơ bản về ElasticSearch

alden

Bài giảng này hướng dẫn bạn cách hiểu hoạt động nội bộ của cụm ElasticSearch, cách giám sát cụm đó và cách khắc phục sự cố tùy theo từng trường hợp. Khóa học này sẽ giúp bạn vận hành cụm ElasticSearch của mình một cách đáng tin cậy hơn.

초급

Elasticsearch, kakao-tech

Khái niệm cơ bản về ElasticSearch

alden