
로드맵 코스
1. 로드맵 작성 배경 및 목표
기존에는 ELT 파이프라인 구축 및 RDBMS 다차원 모델링 위주로 작업을 진행해 왔습니다. 하지만 정작 기간계(ERP, 공통시스템, API) 원천에서 어떤 데이터가 어떤 절차와 소프트웨어 설계를 거쳐 생성되는지, 전체적인 데이터 아키텍처(Data Architecture) 흐름을 깊이 있게 이해하지 못했다는 아쉬움이 있었습니다.
본 로드맵을 통해 OLAP 데이터를 OLTP로 효과적으로 전달하는 실습을 진행하고, Big Data 및 데이터베이스 관리 시스템 전반에 대한 이해도를 끌어올리고자 합니다.
2.목표
카니야스 ERP 에서 원천 데이터를 모듈별로 어떻게 생성되는지 파악 (26년 10 ~ 27년 7월까지) 투입 예정
3. 주요 기술 스택 및 학습 키워드
데이터 엔지니어링 (Data Engineering): Python(파이썬)과 SQL을 기반으로 한 효율적인 query-tuning 및 시스템 디자인(system-design) 구조 파악
메시지 큐 & 스트리밍: Kafka(아파치 카프카)를 활용한 데이터 파이프라인 연결
분산 처리: Apache Spark(아파치 스파크) 및 pyspark를 이용한 대용량 데이터 처리 기술
인프라 & 캐싱: Redis 캐시 서버 활용 및 쿠버네티스 환경 이해
클라우드 환경 데이터 파이프라인 (메달리온 아키텍쳐)
로드맵 상세보기
총 15개 코스

로드맵 코스 15
- 인프런
데이터 분석 SQL Fundamentals
- 인프런
김영한의 실전 데이터베이스 - 설계 1편, 현대적 데이터 모델링 완전 정복
- 인프런
김영한의 실전 데이터베이스 - 설계 2편, 실무에서 반드시 마주치는 9가지 설계 패턴
- 인프런
김영한의 실전 데이터베이스 - 성능 최적화, 실행 계획과 인덱스 완전 정복
- 인프런
비전공자도 이해할 수 있는 MySQL 성능 최적화 입문/실전 (SQL 튜닝편)
- 인프런
Docker가 쉬워지는 운영체제 이야기
- 인프런
Kafka & Spark 활용한 Realtime Datalake
- 인프런
Debezium, MySQL, Kafka로 구성하는 CDC 파이프라인
- 인프런
카프카 완벽 가이드 - 코어편
- 인프런
카프카 완벽 가이드 - 커넥트(Connect) 편
- 인프런
스파크 머신러닝 완벽 가이드 - Part 1
- 인프런
Airflow 완벽 가이드 - Part 1
- 인프런
모르면 승진 안되는 데이터 아키텍처의 정석
- 인프런
모르면 승진 안되는 시스템 디자인
- 인프런
Kafka, Hadoop/Spark, Airflow를 활용한 데이터파이프라인 구축 입문










