데이터 사이언스

데이터 엔지니어링

Kafka & Spark 활용한 Realtime Datalake

Name: Kafka & Spark 활용한 Realtime Datalake
Price: 132000 KRW

초보자를 위한 Kafka & Spark 실시간 파이프라인 입문 강의. 핵심 개념부터 아키텍처까지 마스터하기 위한 올인원 강의입니다.

(4.8) 수강평 11개

수강생 165명

김현진

실시간

데이터처리

데이터파이프라인

Kafka Apache Spark pyspark data-lake

먼저 경험한 수강생들의 후기

이런 걸 배울 수 있어요

Github과 Actions, AWS Code Deploy로 CI/CD 구현
Kafka Broker, Confluent Producer & Consumer
Prometheus & Grafana를 이용한 Kafka Dashboard 모니터링
Catalog 관리를 위한 Spark & Hive Metastore
Spark Streaming을 이용한 실전 프로젝트 구현
Kafka & Spark, Zookeeper & Yarn의 가용성 테스트

실시간 데이터 파이프라인, 왜 배워야 할까?

실시간 데이터 파이프라인 구성을 통해 신속한 분석과 의사결정을 지원하는 것은 선택이 아닌 필수입니다.

실시간 개인화 마케팅 & 추천
실시간 트렌드 분석
실시간 보안 위협 감지 및 대응

특히 AI가 기본이 된 요즘에는 AI를 활용한 실시간 추천, 감지, 번역 등 무궁무진한 사례가 존재하며 이런 아키텍처 구현을 위해 점점 더 실시간 데이터 파이프라인이 요구되고 있습니다.

수강 후에는

Kafka Broker 서비스에 대한 기본 원리 이해, 가용성 보장을 이해하고 이를 기반으로 Broker 서비스를 다룰 수 있게 됩니다.
Kafka Producer/Consumer 의 기본 원리와 고급 옵션까지 이해하고 대용량 환경에서 성능과 정합성간 Trade-off 이해를 통해 견고한 Application을 작성할 수 있게 됩니다.
Spark 이 성능을 발휘할 수 있는 조건에 대해 이해하고 성능을 최적화할 수 있는 기법을 기반으로 Application을 작성할 수 있게 됩니다.
AWS S3, Glue, Athena 등 여러 서비스와 Spark 서비스와의 연계를 통해 파이프라인의 다양성을 이해할 수 있습니다.

Ansible을 이용한 Infra 셋업 자동화

이 모든 것을 다 만들기에 해야할 것이 많지 않냐구요?

맞습니다. 매우 많습니다.

설치할 라이브러리도 많고 이것저것 설정해줘야 할게 아주 많습니다. 뭐 하나 잘 안맞으면 오류가 나죠 🤬

하지만 여러분들은 실시간 파이프라인 구현이라는 중요한 내용에만 주목해주시면 됩니다.

Infra 구성과 각종 셋업은 미리 준비된 Ansible Script를 통해 자동화가 진행됩니다.

Ansible Script는 아래 github 주소에서 미리 볼 수 있습니다.

https://github.com/hjkim-sun/datalake-ansible-playbook-season1

여러분들은 위 github repository 내용을 clone하여 셋업 과정을 쉽게 진행하게 됩니다.

🚨실습 전 참고해 주세요!

✔ Kafka Client(Producer/Consumer)는 Python 으로 작성합니다.

Python Kafka Library 는 여러 종류가 있으나 그 중 가장 성능이 좋은 Confluent Kafka Library를 사용합니다. Confluent Kafka 는 Java 못지않게 높은 성능을 보장하는 도구로써 Python 을 통해 Producer/Consumer를 작성하는 방법을 배웁니다.

✔ Spark 언어 또한 Python으로 작성합니다.

Spark Application을 작성할 때 가장 성능이 좋은 언어는 Scala 입니다. 그러나 Spark 을 위해 별도로 Scala 언어를 배우기에는 분명 부담이 있습니다. Python 언어만큼 대중적이지 않고 딥러닝/AI 관련 라이브러리도 상대적으로 적다는 단점이 있습니다. 그래서 현업에서는 Python을 이용해 Spark 프로그램을 개발하는 경우가 많습니다. 특히 딥러닝/AI 연동을 고려한다면 Python 언어로 작성하는 것은 훌륭한 대안이 될 수 있습니다.

🚨AWS 예상 실습 비용

실습은 AWS Cloud 에서 진행되며 실습 비용이 별도로 발생합니다.

✔ 한 달 동안 약 40시간 사용했을 때 약 4만원 정도 AWS 비용 발생합니다. (환율 1,430 기준)

실습 비용은 대부분 EC2(컴퓨팅 서비스)에서 발생하므로 실습&과제 후 꼭 서버 인스턴스를 중지해주셔야 합니다. 그러나 그 외 비용(서버 인스턴스에 연결되어 있는 볼륨(EBS)과 EIP)의 경우 서버 인스터스를 중지하더라도 비용이 발생합니다. 따라서 완강을 빨리 하실수록 AWS 실습 비용은 감소합니다.

✔ 서버를 모두 중지해놔도 서버 볼륨 비용으로 인해 한 달 약 3만원 정도 발생합니다.

따라서 똑같이 40시간을 사용해도 한 달이 아닌 두 달 동안 사용하신다면 3만원이 추가되어 총 7만원 정도의 AWS 요금이 발생하게 됩니다. 따라서 가급적 완강을 빨리 하시기를 추천드립니다.

✨ 커뮤니케이션

여러 도구와 연계하는 작업이 많은 강의의 특성상 궁금한 내용 또는 예상치 못한 오류가 생기는 경우 Q&A 게시판만으로 의사소통이 어려울 수 있습니다.

(경험상 질문 등록되면 제가 답변을 달고 재확인 되기까지 3~4 일 정도 소요되는 것으로 보입니다)

이런 의사소통의 불편함을 줄이고 수강하신 분들에게 끝까지 고품질 서비스를 제공해드리기 위해 디스코드 채널을 운영하고자 합니다.

https://discord.gg/etSxQQf5

강의에 대한 내용이어도 좋고, 아니어도 좋습니다. 사소한 얘기를 나누어도 좋습니다.

원활한 커뮤니케이션을 위한 곳이니 편하게 입장해 주세요

필수 사전 지식 사항

파이썬 기본 지식

기본적인 자료구조와 if/for/while 등 기본적인 문법. 그리고 함수를 작성할 수 있을 정도의 실력
리눅스 기본 명령어

대부분의 Infra 작업은 Ansible 자동화 도구를 통해 진행됩니다. 그러나 리눅스의 기본 명령어는 알고 있어야 수강 가능합니다. (vi 편집기, cd/mv/rm 등의 기본 명령어)
SQL

기본 sql 지식 (SELECT, WHERE, JOIN, GROUP BY, ORDER BY 등) 알고 있으면 따라오시기에 훨씬 수월합니다.
(어려운 SQL은 없습니다)

권고 사전 지식 사항

도커 컨테이너
컨테이너를 이용해 모니터링 도구를 셋업합니다. 컨테이너의 원리를 알고 있으면 도움이 됩니다.
git
CI/CD 를 위해 git 을 활용해 직접 코드 배포까지 진행합니다. 사용법은 모두 차근차근 설명드리지만 알고 있으면 더욱 좋습니다.
파이썬 Class 이해
실습으로 진행되는 대부분의 파이썬 프로그램들은 Class 구조를 통해 구조화가 진행됩니다. 따라서 Class 및 객체지향에 대한 이해가 있으면 실습하기에 수월합니다
(몰라도 상관없어요. 다 설명합니다)

이런 분들께
추천드려요

학습 대상은
누구일까요?

Kafka & Spark을 배우고 싶은 분
실시간 파이프라인 구현을 배우고 싶은 분
데이터 엔지니어로써 여러 지식과 Skill 개발이 필요하신 분

선수 지식,
필요할까요?

파이썬에 대한 기본 개념
SQL에 대한 기본 지식 (Filter, GroupBy, OrderBy 수준)
Linux 기초적인 커맨드를 다룰 수 있는 수준

안녕하세요
입니다.

1,061

명

수강생

개

수강평

185

개

답변

4.9

점

강의 평점

개

강의

안녕하세요.

데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.

정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.

반갑습니다. :)

Contact: hjkim_sun@naver.com

커리큘럼

전체

113개 ∙ (28시간 23분)

해당 강의에서 제공:

수업자료

섹션 1. 데이터레이크 소개

4개 ∙ (43분)

섹션 2. 데이터레이크 아키텍처 설계

3개 ∙ (24분)

5. 데이터레이크 아키텍처 설계(람다 아키텍처)
12:15
6. 데이터레이크 아키텍처 설계(카파 아키텍처)
03:50
7. 데이터레이크 아키텍처 설계하기
08:46

섹션 3. 개발환경 설정

3개 ∙ (26분)

8. git설치하기
05:55
9. 파이썬&파이참 설치
11:58
10. github레파지토리 생성&연결
08:32

섹션 4. AWS 환경생성

9개 ∙ (1시간 57분)

섹션 5. Kafka 셋업

7개 ∙ (1시간 55분)

섹션 6. Kafka Producer 만들기

9개 ∙ (2시간 17분)

섹션 7. Kafka UI와 모니터링

3개 ∙ (54분)

섹션 8. Kafka Consumer 만들기

7개 ∙ (1시간 54분)

섹션 9. Spark 셋업과 기초

7개 ∙ (1시간 49분)

섹션 10. Spark Cluster구성

5개 ∙ (1시간 21분)

섹션 11. Spark 이해

10개 ∙ (3시간 3분)

섹션 12. Spark SQL

9개 ∙ (2시간 5분)

섹션 13. Spark Streaming

8개 ∙ (2시간 11분)

섹션 14. Streaming 프로그램 구성

6개 ∙ (1시간 24분)

섹션 15. Dashboard 구성

1개 ∙ (17분)

섹션 16. Spark 성능 최적화와 문제해결

8개 ∙ (2시간 20분)

섹션 17. Spark Steaming Master

6개 ∙ (1시간 21분)

섹션 18. 가용성 테스트

7개 ∙ (1시간 37분)

섹션 19. 마무리하며

1개 ∙ (15분)

강의 게시일:

마지막 업데이트일:

수강평

전체

11개

4.8

11개의 수강평

램쥐뱅
수강평 17
∙
평균 평점 4.9
5
100% 수강 후 작성
기대 이상으로 잘 정리된 커리큘럼과 내용에 많은 것을 배우고 갑니다. 꼼꼼하게 강의를 만들어 주셨다는 느낌을 많이 받았습니다 후속 강의가 기다리고 있겠습니다 감사합니다
- 김현진
  지식공유자
  램쥐뱅님 수강평 감사합니다. 저도 커리큘럼을 만들면서 어떻게 하면 기초부터 탄탄히 알려드리면서 Kafka 부터 spark 까지 연결할 수 있을지 고민이 많았어요. 덕분에 강의 기획부터 완성까지 1년이 걸렸지만 이렇게 알아봐주셔서 뿌듯합니다 ^^ 감사합니다. 지금 준비하는 후속 강의는 season2는 아니지만 알찬 내용으로 구성해서 후회하지 않게 진행해보겠습니다 😀
역시자네야
수강평 1
∙
평균 평점 5.0
수정됨
5
10% 수강 후 작성
믿고 보는 현진 선생님. 강추합니다. airflow 강의로부터 알게 되었는데 다른 강의들과는 다른 차별점이 많습니다. 개념부터 아키 설계까지, 사용 이유와 원리를 설명해주시는게 좋았어요. 실습도 편-안 그자체입니다. 답변까지 항상 친절하게 달아주십니다 아직 수강 초기이지만 완강해보겠습니다~ 날씨가 더운데, 건강 잘 챙기세요.
- 김현진
  지식공유자
  안녕하세요 역시자네야님 airflow에 이어서 찾아주셔서 너무 감사드려요! 저는 스스로 뭔가를 배울 때 피상적으로 사용법만 익히고 원리를 파악하지 않으면 금방 까먹고 이해가 가질 않더라구요. 다른 분들도 그럴거라 생각해서 내가 이해한 원리를 전달하기 위해 강의 시간을 많이 할애하는 편입니다. 그래서 ppt도 만들어야 하고 과제도 만들고 있어서 좀 힘들지만 덕분에 알아봐주셔서 감사드려요 :) 다음 강의도 잘 준비해볼께요 💪
:찬영
수강평 1
∙
평균 평점 5.0
수정됨
5
100% 수강 후 작성
굉장히 완성도 높은 강의였습니다.. 감동 그 자체 보통 강의듣다 보면 똑같이 따라 했는데 왜 안돼? 이런 상황 적지 않을텐데, 그런 거 없이 스무스하게 완강했습니다. 전 강의 선택함에 있어 제일 먼저 커리큘럼을 보고, 가격과 강의시간을 비교해봅니다. 그동안 가격에 비해 너무 수박 겉핥기 식의 강의들이 많았는데, 현진님의 kafka&spark 강의를 듣는다면,, 추후 프로젝트에서도 충분히 완성도 높은 결과물 뽑을 수 있다고 장담합니다! 많이 배웠습니다 감사합니다! (시즌 2는 언제쯤 나올라나요..?)
- 김현진
  지식공유자
  안녕하세요 찬영님! 감동스러운 수강평 감사드립니다. 완강하셔서 잘 아시겠지만 내용이 아무래도 단순 기능을 알려주기보다 인프라 구성부터 nginx 구성, docker 셋팅, 가용성테스트까지 다양한 내용을 포함하다보니 쉽게 진행이 되지 않을까 염려를 많이 했습니다. 그래서 ansible-playbook으로 최대한 표준화하고 강의 촬영을 마친 이후에도 직접 강의를 따라 해보면서 혹시 잘 되지 않는 부분이 있지 않은지 직접 확인도 했습니다. 그리고 혹시나 안되시는 분들을 위해 원활한 의사소통 대비 디스코드 방까지 준비했습니다. 결국 강의를 올리기까지 꽤 많은 시간이 걸렸지만 최대한 완성도 있는 강의를 만들고자 노력했습니다. 찬영님이 알아봐주신 것 같아 그간의 고생이 씻겨내려가는 것 같습니다 ^-^ 제가 더 감사드립니다.. 그리고 시즌 2는 시작하기 전에 생성형 AI 관련하여 강의를 먼저 하나 준비하고 있어서 조금 더 늦을 수도 있을 것 같습니다. 그래도 힘내서 준비해볼께요 !
Haul
수강평 2
∙
평균 평점 4.0
3
60% 수강 후 작성
중요하지 않은 원리 구조에 대한 부분이 너무 많고 설치 셋팅이 많음. 핵심은 간략... 현업에서 적응하려면 힘듬
김보인
수강평 3
∙
평균 평점 5.0
5
12% 수강 후 작성
아직 강의를 다 보진 않았지만, AWS 환경 구성까지만 봐도 전체 강의의 퀄리티를 짐작할 수 있겠네요.. 개인적으로 데이터 분야가 아니더라도, 아키 업무를 하시는 분들도 충분히 도움이 될 만한 강의입니다. 열심히 해서 완강하도록 하겠습니다!!
- 김현진
  지식공유자
  안녕하세요 김보인님 네 이 강의는 단순히 kafka 프로듀싱해보고, 컨슈밍 해보거나, spark 한번 돌려보는게 끝인 강의는 아닙니다. 특히 kafka & spark은 클러스터 구조라서 원리를 이해하지 않으면 올바른 코드를 작성할 수 없습니다. 원리를 이해하려면 클러스터 구조를 이해해야 하고, 클러스터 구조를 이해하려면 왜 3대씩이나 구성해야 하는지, 인프라는 이러저러하게 구성해야 하는지 알아야 할 수 밖에 없어요. 그래서 인프라부터 차근차근 설명드리면서 구성해보는 강의입니다. 아키를 익히는데에도 많은 도움이 되셨다니 저도 기분이 좋네요 :) 화이팅입니다!

월 ₩26,400

5개월 할부 시

₩132,000

김현진님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

Airflow 마스터 클래스

김현진

데이터 파이프라인을 효율적으로 만들고 관리하기 위한 Orchestration 도구인 Airflow에 대해 배우는 강의입니다. 초보자도 차근차근 배울 수 있는 Airflow 마스터 클래스, 환영합니다!

초급

airflow, 데이터 엔지니어링, Python

Airflow 마스터 클래스

김현진

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

[데브원영] 아파치 카프카 for beginners

데브원영 DVWY

아파치 카프카란 무엇일까? 아파치 카프카는 어떻게 동작할까? 아파치 카프카의 개념은 무엇이 있을까? 궁금하시다면 이 강의를 선택하세요😎

초급

Kafka, 데이터 엔지니어링

[데브원영] 아파치 카프카 for beginners

데브원영 DVWY

대용랑 채팅 TPS에 대한 stateful 서비스 구축하기

July

치지직, 아프리카TV 등 stateful 서비스에 대해서 어떻게 서버를 구축하고, 무중단 배포가 진행이 되는지 모든것을 알려드립니다.

초급

Go, Kafka, Node.js

대용랑 채팅 TPS에 대한 stateful 서비스 구축하기

July