
데이터 엔지니어링(정보계 모델링, elt, 도커, 배치, 스트리밍)
홍태경
초급 대상
총 13개 코스
4명 참여중
조회수
191
로드맵 코스
1. 로드맵 작성 배경 및 목표
기존에는 ELT 파이프라인 구축 및 RDBMS 다차원 모델링 위주로 작업을 진행해 왔습니다. 하지만 정작 기간계(ERP, 공통시스템, API) 원천에서 어떤 데이터가 어떤 절차와 소프트웨어 설계를 거쳐 생성되는지, 전체적인 데이터 아키텍처(Data Architecture) 흐름을 깊이 있게 이해하지 못했다는 아쉬움이 있었습니다.
본 로드맵을 통해 OLAP 데이터를 OLTP로 효과적으로 전달하는 실습을 진행하고, Big Data 및 데이터베이스 관리 시스템 전반에 대한 이해도를 끌어올리고자 합니다.
2.목표
카니야스 ERP 에서 원천 데이터를 모듈별로 어떻게 생성되는지 파악 (26년 10 ~ 27년 7월까지) 투입 예정
3. 주요 기술 스택 및 학습 키워드
데이터 엔지니어링 (Data Engineering): Python(파이썬)과 SQL을 기반으로 한 효율적인 query-tuning 및 시스템 디자인(system-design) 구조 파악
메시지 큐 & 스트리밍: Kafka(아파치 카프카)를 활용한 데이터 파이프라인 연결
분산 처리: Apache Spark(아파치 스파크) 및 pyspark를 이용한 대용량 데이터 처리 기술
인프라 & 캐싱: Redis 캐시 서버 활용 및 쿠버네티스 환경 이해
클라우드 환경 데이터 파이프라인 (메달리온 아키텍쳐)
로드맵 상세보기
총 13개 코스

로드맵 코스 13
- 인프런
데이터 분석 SQL Fundamentals
- 인프런
김영한의 실전 데이터베이스 - 설계 1편, 현대적 데이터 모델링 완전 정복
- 인프런
김영한의 실전 데이터베이스 - 설계 2편, 실무에서 반드시 마주치는 9가지 설계 패턴
- 인프런
김영한의 실전 데이터베이스 - 성능 최적화, 실행 계획과 인덱스 완전 정복
- 인프런
비전공자도 이해할 수 있는 MySQL 성능 최적화 입문/실전 (SQL 튜닝편)
- 인프런
Docker가 쉬워지는 운영체제 이야기
- 인프런
Kafka & Spark 활용한 Realtime Datalake
- 인프런
카프카 완벽 가이드 - 코어편
- 인프런
카프카 완벽 가이드 - 커넥트(Connect) 편
- 인프런
스파크 머신러닝 완벽 가이드 - Part 1
- 인프런
Airflow 완벽 가이드 - Part 1
- 인프런
모르면 승진 안되는 데이터 아키텍처의 정석
- 인프런
모르면 승진 안되는 시스템 디자인










