BEST

Kafka & Spark được sử dụng cho Realtime Datalake

Name: Kafka & Spark được sử dụng cho Realtime Datalake
Price: 132000 KRW
Rating: 4.9 (19 reviews)

Khóa học nhập môn Pipeline thời gian thực Kafka & Spark dành cho người mới bắt đầu. Khóa học trọn gói để nắm vững từ khái niệm cốt lõi đến kiến trúc.

(4.9) 19 đánh giá

234 học viên

hyunjinkim

실시간

데이터처리

데이터파이프라인

Kafka

Apache Spark

pyspark

data-lake

kakao-tech

Đánh giá từ những học viên đầu tiên

Bạn sẽ nhận được điều này sau khi học.

Github, Actions và AWS Code Deploy để triển khai CI/CD
Kafka Broker, Confluent Producer & Consumer
Prometheus & Grafana: Giám sát Kafka Dashboard
Quản lý Catalog cho Spark & Hive Metastore
Thực hiện dự án thực tế dùng Spark Streaming
Kiểm tra tính sẵn sàng của Kafka & Spark, Zookeeper & Yarn

Pipeline dữ liệu thời gian thực, tại sao phải học?

Việc xây dựng pipeline dữ liệu thời gian thực để hỗ trợ phân tích nhanh chóng và ra quyết định không phải là lựa chọn mà là điều bắt buộc.

Marketing cá nhân hóa & đề xuất theo thời gian thực
Phân tích xu hướng thời gian thực
Phát hiện và ứng phó mối đe dọa bảo mật thời gian thực

Đặc biệt trong thời đại ngày nay khi AI đã trở thành nền tảng, tồn tại vô số trường hợp sử dụng AI cho gợi ý thời gian thực, phát hiện, dịch thuật, v.v., và để triển khai những kiến trúc như vậy, ngày càng có nhiều yêu cầu về pipeline dữ liệu thời gian thực.

Đặc điểm của khóa học này

📌 Cấu hình đơn lẻ trên máy cục bộ thì không! Xu hướng chính là cloud. AWS Cloud를 활용합니다.

📌 CI/CD là cơ bản rồi phải không? Chúng ta sẽ cấu hình CI/CD thông qua GitHub Actions và AWS Code Deploy.

📌 Từ cơ bản một cách từ từ, nhưng thông qua thực hành và bài tập để giúp bạn có thể nội hóa nội dung bài giảng.

📌 Máy chủ cấu hình clustertừ việc thiết lập pipeline thời gian thực và kiểm tra tính khả dụngđến cấu hình All in One

Sau khi hoàn thành khóa học

Hiểu được nguyên lý cơ bản về dịch vụ Kafka Broker, hiểu về đảm bảo tính khả dụng và có thể xử lý dịch vụ Broker dựa trên những kiến thức này.
Hiểu được nguyên lý cơ bản và các tùy chọn nâng cao của Kafka Producer/Consumer, đồng thời thông qua việc hiểu Trade-off giữa hiệu suất và tính nhất quán trong môi trường dung lượng lớn, bạn sẽ có thể viết được các Application vững chắc.
Bạn sẽ có thể hiểu các điều kiện để Spark phát huy hiệu suất và viết Application dựa trên các kỹ thuật có thể tối ưu hóa hiệu suất.
Bạn có thể hiểu được tính đa dạng của pipeline thông qua việc liên kết giữa các dịch vụ như AWS S3, Glue, Athena và dịch vụ Spark.

Pipeline có thể được phân chia từ thu thập đến sử dụng.

Chúng ta cần hiểu rõ ở mỗi bước sử dụng công cụ nào, sử dụng như thế nào và chúng liên kết với nhau ra sao.

Do đó, chúng ta không chỉ dừng lại ở việc học Kafka và Spark một cách đơn thuần.

Cuối cùng, hãy xây dựng pipeline thực tế

Trong quá trình đó, bạn sẽ học các phương pháp như CI/CD, kiểm thử tính khả dụng, giải quyết vấn đề và cải thiện hiệu suất.

Tự động hóa thiết lập hạ tầng bằng Ansible

Bạn có nghĩ rằng có quá nhiều việc phải làm để tạo ra tất cả những thứ này không?

Đúng vậy. Rất nhiều.

Có rất nhiều thư viện cần cài đặt và rất nhiều thứ cần phải cấu hình. Nếu có một thứ gì đó không khớp thì sẽ báo lỗi 🤬

Nhưng các bạn chỉ cần chú ý đến nội dung quan trọng là triển khai pipeline thời gian thực.

Việc cấu hình Infra và các thiết lập khác nhau sẽ được tự động hóa thông qua Ansible Script đã được chuẩn bị sẵn.

Ansible Script có thể xem trước tại địa chỉ github dưới đây.

https://github.com/hjkim-sun/datalake-ansible-playbook-season1

Các bạn sẽ clone nội dung của github repository ở trên để dễ dàng tiến hành quá trình thiết lập.

🚨Vui lòng tham khảo trước khi thực hành!

✔ Kafka Client(Producer/Consumer) được viết bằng Python.

Python Kafka Library có nhiều loại khác nhau nhưng trong số đó chúng ta sẽ sử dụng Confluent Kafka Library có hiệu suất tốt nhất. Confluent Kafka là công cụ đảm bảo hiệu suất cao không kém gì Java, chúng ta sẽ học cách viết Producer/Consumer thông qua Python.

✔ Ngôn ngữ Spark cũng được viết bằng Python.

Khi viết Spark Application, ngôn ngữ có hiệu suất tốt nhất là Scala. Tuy nhiên, việc học riêng ngôn ngữ Scala cho Spark chắc chắn là một gánh nặng. Nó có nhược điểm là không phổ biến bằng ngôn ngữ Python và các thư viện liên quan đến deep learning/AI cũng tương đối ít hơn. Vì vậy trong thực tế, nhiều trường hợp sử dụng Python để phát triển chương trình Spark. Đặc biệt nếu xem xét việc tích hợp deep learning/AI, việc viết bằng ngôn ngữ Python có thể là một giải pháp thay thế tuyệt vời.

🚨Chi phí thực hành AWS dự kiến

Thực hành được tiến hành trên AWS Cloud và sẽ phát sinh chi phí thực hành riêng biệt.

✔ Trong một tháng sử dụng khoảng 40 giờ thì chi phí AWS phát sinh khoảng 40.000 won. (Tỷ giá 1.430 làm chuẩn)

Chi phí thực hành chủ yếu phát sinh từ EC2 (dịch vụ điện toán) nên sau khi thực hành & làm bài tập, bạn nhất định phải dừng server instance. Tuy nhiên, các chi phí khác (volume (EBS) và EIP được kết nối với server instance) vẫn phát sinh chi phí ngay cả khi bạn dừng server instance. Do đó, càng hoàn thành khóa học nhanh thì chi phí thực hành AWS càng giảm.

✔ Ngay cả khi tắt tất cả các máy chủ, chi phí cho volume máy chủ vẫn phát sinh khoảng 30,000 won mỗi tháng.

Do đó, ngay cả khi sử dụng cùng 40 giờ nhưng nếu bạn sử dụng trong hai tháng thay vì một tháng thì sẽ phát sinh thêm 30,000 won, tổng cộng khoảng 70,000 won phí AWS. Vì vậy, chúng tôi khuyến nghị bạn nên hoàn thành khóa học càng sớm càng tốt.

✨Giao tiếp

Do đặc thù của khóa học có nhiều tác vụ liên kết với nhiều công cụ khác nhau, trong trường hợp có nội dung thắc mắc hoặc phát sinh lỗi không mong muốn thì việc giao tiếp chỉ thông qua bảng Q&A có thể gặp khó khăn.

(Theo kinh nghiệm, sau khi đăng câu hỏi, tôi sẽ trả lời và việc xác nhận lại mất khoảng 3~4 ngày)

Để giảm bớt những bất tiện trong giao tiếp này và cung cấp dịch vụ chất lượng cao đến cuối khóa học cho các bạn đã đăng ký, chúng tôi muốn vận hành kênh Discord.

https://discord.gg/eTcYzMBxZm

Nội dung về bài giảng cũng được, không phải cũng không sao. Nói chuyện những điều nhỏ nhặt cũng được.

Đây là nơi để giao tiếp thuận lợi nên hãy thoải mái tham gia nhé

Kiến thức cần thiết phải biết trước

Kiến thức cơ bản về Python

Cấu trúc dữ liệu cơ bản và cú pháp cơ bản như if/for/while. Và trình độ có thể viết được các hàm
Các lệnh cơ bản của Linux

Hầu hết các công việc Infra được thực hiện thông qua công cụ tự động hóa Ansible. Tuy nhiên, bạn cần biết các lệnh cơ bản của Linux mới có thể tham gia khóa học. (trình soạn thảo vi, các lệnh cơ bản như cd/mv/rm)
SQL

Kiến thức SQL cơ bản (SELECT, WHERE, JOIN, GROUP BY, ORDER BY, v.v.) sẽ giúp bạn theo dõi dễ dàng hơn rất nhiều.
(Không có SQL khó)

Kiến thức nền tảng được khuyến nghị

Container Docker
Thiết lập các công cụ giám sát bằng cách sử dụng container. Sẽ hữu ích nếu bạn hiểu nguyên lý hoạt động của container.
git
Để thực hiện CI/CD, chúng ta sẽ sử dụng git để tiến hành triển khai code trực tiếp. Tôi sẽ giải thích từng bước cách sử dụng một cách chi tiết, nhưng nếu bạn đã biết trước thì sẽ càng tốt hơn.
Hiểu về Class trong Python
Hầu hết các chương trình Python được thực hành đều được cấu trúc thông qua cấu trúc Class. Do đó, nếu có hiểu biết về Class và lập trình hướng đối tượng thì sẽ dễ dàng hơn khi thực hành
(Không biết cũng không sao. Tôi sẽ giải thích tất cả)

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

Ai muốn học Kafka & Spark
Người muốn học triển khai pipeline thời gian thực
Người cần phát triển nhiều kiến thức và kỹ năng của một Kỹ sư dữ liệu.

Cần biết trước khi bắt đầu?

Khái niệm cơ bản về Python
Kiến thức cơ bản về SQL (mức độ Filter, GroupBy, OrderBy)
Sử dụng lệnh Linux cơ bản được

Xin chào
Đây là

1,230

Học viên

Đánh giá

217

Trả lời

4.9

Xếp hạng

Các khóa học

안녕하세요.

데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.

정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.

반갑습니다. :)

Contact: hjkim_sun@naver.com

Chương trình giảng dạy

Tất cả

113 bài giảng ∙ (28giờ 23phút)

Tài liệu khóa học:

Tài liệu bài giảng

Phần 1. Giới thiệu Data Lake

4 bài giảng ∙ (43phút)

Phần 2. Thiết kế kiến trúc hồ dữ liệu

3 bài giảng ∙ (24phút)

Phần 3. Thiết lập môi trường phát triển

3 bài giảng ∙ (26phút)

8. Cài đặt Git
05:55
9. Cài đặt Python & PyCharm
11:58
10. Tạo & kết nối github repo
08:32

Phần 4. Tạo môi trường AWS

9 bài giảng ∙ (1giờ 57phút)

Phần 5. Thiết lập Kafka

7 bài giảng ∙ (1giờ 55phút)

Phần 6. Tạo Kafka Producer

9 bài giảng ∙ (2giờ 17phút)

Phần 7. Kafka UI và giám sát

3 bài giảng ∙ (54phút)

Phần 8. Xây dựng Kafka Consumer

7 bài giảng ∙ (1giờ 54phút)

Phần 9. Thiết lập và cơ bản Spark

7 bài giảng ∙ (1giờ 49phút)

Phần 10. Cấu hình Spark Cluster

5 bài giảng ∙ (1giờ 21phút)

Phần 11. Hiểu Spark

10 bài giảng ∙ (3giờ 3phút)

Phần 12. Spark SQL

9 bài giảng ∙ (2giờ 5phút)

Phần 13. Spark Streaming

8 bài giảng ∙ (2giờ 11phút)

Phần 14. Cấu hình chương trình Streaming

6 bài giảng ∙ (1giờ 24phút)

Phần 15. Cấu hình Dashboard

1 bài giảng ∙ (17phút)

Phần 16. Spark tối ưu hiệu năng và xử lý sự cố

8 bài giảng ∙ (2giờ 20phút)

Phần 17. Spark Steaming Master

6 bài giảng ∙ (1giờ 21phút)

Phần 18. Kiểm tra khả năng khả dụng

7 bài giảng ∙ (1giờ 37phút)

Phần 19. Lời kết

1 bài giảng ∙ (15phút)

Ngày đăng:

Cập nhật lần cuối:

Đánh giá

Tất cả

19 đánh giá

4.9

19 đánh giá

램쥐뱅
Đánh giá 19
∙
Đánh giá trung bình 4.7
5
100% đã tham gia
기대 이상으로 잘 정리된 커리큘럼과 내용에 많은 것을 배우고 갑니다. 꼼꼼하게 강의를 만들어 주셨다는 느낌을 많이 받았습니다 후속 강의가 기다리고 있겠습니다 감사합니다
- 김현진
  Giảng viên
  램쥐뱅님 수강평 감사합니다. 저도 커리큘럼을 만들면서 어떻게 하면 기초부터 탄탄히 알려드리면서 Kafka 부터 spark 까지 연결할 수 있을지 고민이 많았어요. 덕분에 강의 기획부터 완성까지 1년이 걸렸지만 이렇게 알아봐주셔서 뿌듯합니다 ^^ 감사합니다. 지금 준비하는 후속 강의는 season2는 아니지만 알찬 내용으로 구성해서 후회하지 않게 진행해보겠습니다 😀
역시자네야
Đánh giá 1
∙
Đánh giá trung bình 5.0
Đã chỉnh sửa
5
10% đã tham gia
믿고 보는 현진 선생님. 강추합니다. airflow 강의로부터 알게 되었는데 다른 강의들과는 다른 차별점이 많습니다. 개념부터 아키 설계까지, 사용 이유와 원리를 설명해주시는게 좋았어요. 실습도 편-안 그자체입니다. 답변까지 항상 친절하게 달아주십니다 아직 수강 초기이지만 완강해보겠습니다~ 날씨가 더운데, 건강 잘 챙기세요.
- 김현진
  Giảng viên
  안녕하세요 역시자네야님 airflow에 이어서 찾아주셔서 너무 감사드려요! 저는 스스로 뭔가를 배울 때 피상적으로 사용법만 익히고 원리를 파악하지 않으면 금방 까먹고 이해가 가질 않더라구요. 다른 분들도 그럴거라 생각해서 내가 이해한 원리를 전달하기 위해 강의 시간을 많이 할애하는 편입니다. 그래서 ppt도 만들어야 하고 과제도 만들고 있어서 좀 힘들지만 덕분에 알아봐주셔서 감사드려요 :) 다음 강의도 잘 준비해볼께요 💪
:찬영
Đánh giá 1
∙
Đánh giá trung bình 5.0
Đã chỉnh sửa
5
100% đã tham gia
굉장히 완성도 높은 강의였습니다.. 감동 그 자체 보통 강의듣다 보면 똑같이 따라 했는데 왜 안돼? 이런 상황 적지 않을텐데, 그런 거 없이 스무스하게 완강했습니다. 전 강의 선택함에 있어 제일 먼저 커리큘럼을 보고, 가격과 강의시간을 비교해봅니다. 그동안 가격에 비해 너무 수박 겉핥기 식의 강의들이 많았는데, 현진님의 kafka&spark 강의를 듣는다면,, 추후 프로젝트에서도 충분히 완성도 높은 결과물 뽑을 수 있다고 장담합니다! 많이 배웠습니다 감사합니다! (시즌 2는 언제쯤 나올라나요..?)
- 김현진
  Giảng viên
  안녕하세요 찬영님! 감동스러운 수강평 감사드립니다. 완강하셔서 잘 아시겠지만 내용이 아무래도 단순 기능을 알려주기보다 인프라 구성부터 nginx 구성, docker 셋팅, 가용성테스트까지 다양한 내용을 포함하다보니 쉽게 진행이 되지 않을까 염려를 많이 했습니다. 그래서 ansible-playbook으로 최대한 표준화하고 강의 촬영을 마친 이후에도 직접 강의를 따라 해보면서 혹시 잘 되지 않는 부분이 있지 않은지 직접 확인도 했습니다. 그리고 혹시나 안되시는 분들을 위해 원활한 의사소통 대비 디스코드 방까지 준비했습니다. 결국 강의를 올리기까지 꽤 많은 시간이 걸렸지만 최대한 완성도 있는 강의를 만들고자 노력했습니다. 찬영님이 알아봐주신 것 같아 그간의 고생이 씻겨내려가는 것 같습니다 ^-^ 제가 더 감사드립니다.. 그리고 시즌 2는 시작하기 전에 생성형 AI 관련하여 강의를 먼저 하나 준비하고 있어서 조금 더 늦을 수도 있을 것 같습니다. 그래도 힘내서 준비해볼께요 !
황준하
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
60% đã tham gia
형빈
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
30% đã tham gia

2.777.527 ₫

Khóa học khác của hyunjinkim

Hãy khám phá các khóa học khác của giảng viên!

Airflow 마스터 클래스

김현진

데이터 파이프라인을 효율적으로 만들고 관리하기 위한 Orchestration 도구인 Airflow에 대해 배우는 강의입니다. 초보자도 차근차근 배울 수 있는 Airflow 마스터 클래스, 환영합니다!

Basic

airflow, 데이터 엔지니어링, Python

Airflow 마스터 클래스

김현진

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

ElasticSearch Essential

강진우

ElasticSearch 클러스터를 운영하기 위해 꼭 알아야 할 내부 동작에 대한 이해, 모니터링하는 방법, 사례를 기반으로 한 트러블 슈팅 방법을 알려주는 강의입니다. 이 강의를 통해 ElasticSearch 클러스터를 더 안정적으로 운영할 수 있습니다.

Basic

Elasticsearch, 카카오공채-개발

ElasticSearch Essential

강진우

따라하며 배우는 실전 스파크 Part1

데이비드최

이 강의를 통해 기업의 아파치 스파크 프로젝트를 바로 수행할 수 있게 될 겁니다.

Basic

Apache Spark, 빅데이터, 머신러닝

따라하며 배우는 실전 스파크 Part1

데이비드최

[데브원영] 아파치 카프카 for beginners

데브원영 DVWY

아파치 카프카란 무엇일까? 아파치 카프카는 어떻게 동작할까? 아파치 카프카의 개념은 무엇이 있을까? 궁금하시다면 이 강의를 선택하세요😎

Basic

Kafka, 데이터 엔지니어링

[데브원영] 아파치 카프카 for beginners

데브원영 DVWY

대용랑 채팅 TPS에 대한 stateful 서비스 구축하기

July

치지직, 아프리카TV 등 stateful 서비스에 대해서 어떻게 서버를 구축하고, 무중단 배포가 진행이 되는지 모든것을 알려드립니다.

Basic

Go, Kafka, Node.js

대용랑 채팅 TPS에 대한 stateful 서비스 구축하기

July