01. 핵심 개념 및 인프라 구축
Kafka, Hadoop, Spark, Airflow의 핵심적인 개념을 이해하고, 실행 환경 및 인프라를 직접 구축합니다.

Kafka, Hadoop, Spark, Airflow의 핵심 개념과 인프라 구축부터, Java와 Python 기반의 실습, 그리고 AWS 환경의 운영 레벨 파이프라인 구축까지 함께 합니다.
5명 이 수강하고 있어요.
난이도 입문
수강기한 무제한
Kafka, Hadoop, Spark, Airflow의 핵심적인 개념
데이터 파이프라인 인프라 구축 실습
AWS의 MSK, EMR, MWAA, S3 서비스룰 활용한 운영 데이터 파이프라인 구축
본 과정에서는 Kafka, Hadoop, Spark, Airflow의 핵심 개념과 인프라 구축부터, Java와 Python 기반의 실습, 그리고 AWS 환경의 운영 레벨 파이프라인 구축까지 함께 합니다.
Kafka, Hadoop, Spark, Airflow의 핵심적인 개념을 이해하고, 실행 환경 및 인프라를 직접 구축합니다.
Java, SpringBoot, Python 코드를 기반으로 각 기술별 특성을 이해하는 실습을 진행합니다.
데이터 레이크, 로그 데이터 저장소, 빅데이터 저장소 및 파이프라인 등의 용도로 활용가능한 실전형 파이프라인을 구축합니다.
MSK, EMR, MWAA, S3 등 AWS 서비스들을 활용하여 프로덕션 수준의 운영 환경 파이프라인 인프라를 구축해 봅니다.
실제 프로덕션 환경을 가정한 실시간 및 배치 데이터 처리 아키텍처 흐름
데이터 파이프라인 구축해야 하는 데이터엔지니어 또는 인프라 엔지니어
kafka, spark 등을 활용해야 하는 백엔드 개발자
AI 학습을 위한 데이터레이크를 구축해야 하는 AI 엔지니어
학습 대상은
누구일까요?
데이터 파이프라인을 구축해야 하는 데이터 엔지니어
kafka, spark 등을 활용해야 하는 백엔드 개발자
AI 학습을 위한 데이터레이크를 구축해야 하는 AI 엔지니어
인프런인증
커리어인증
3,927
명
수강생
416
개
수강평
137
개
답변
4.9
점
강의 평점
13
개
강의
💪💪💪실무와 강의 경력을 갖춘 전문가 💪💪💪
안녕하세요 김선국입니다. 연세대학교를 졸업하고 대기업, 스타트업 등에서 소프트웨어 엔지니어로 일해왔습니다. 현재는 기업교육/부트캠프 전업 강사로 일하고 있습니다. 실무 경험과 강의 경험을 모두 갖춘 강사로서, 여러분들에게 반드시 알아야할 지식들 위주로 알기쉽게 전달 드리겠습니다.
프로필 : https://www.linkedin.com/in/seongukkim
기업교육문의 : ksg39412@naver.com
전체
19개 ∙ (7시간 27분)
1. 수업개요
28:25
2. 카프카개요와 사용사례
17:17
3. 카프카 클러스터
21:16
4. 프로듀서와 컨슈머
20:24
5. 실습)카프카 클러스터 구축
40:37
6. 실습)카프카 메시지 발행
29:29
7. 실습)컨슈머그룹 설정별 차이점
12:54
8. 하둡 핵심개념
16:55
9. 스파크 핵심개념
25:33
10. 하둡스파크 로컬 환경 구축
27:19
15. AWS 실습 아키텍처 개요
14:25
17. 실습)s3, mwaa 구성
20:44
19. 마무리
09:48
지식공유자님의 다른 강의를 만나보세요!
같은 분야의 다른 강의를 만나보세요!