
데이터 엔지니어링 + 추천시스템 (피치엔지니어링?)
홍태경
입문 대상
총 14개 코스
2명 참여중
조회수
27
로드맵 코스
1. 로드맵 작성 배경 및 목표
기존에는 ELT 파이프라인 구축 및 서브쿼리 중심의 RDBMS 모델링 위주로 작업을 진행해 왔습니다. 하지만 정작 기간계(ERP, 공통시스템, API) 원천에서 어떤 데이터가 어떤 절차와 소프트웨어 설계를 거쳐 생성되는지, 전체적인 데이터 아키텍처(Data Architecture) 흐름을 깊이 있게 이해하지 못했다는 아쉬움이 있었습니다.
본 로드맵을 통해 OLAP 데이터를 OLTP로 효과적으로 전달하는 실습을 진행하고, Big Data 및 데이터베이스 관리 시스템 전반에 대한 이해도를 끌어올리고자 합니다.
2.목표
카니야스 ERP 에서 원천 데이터를 모듈별로 어떻게 생성되는지 파악 (26년 10 ~ 27년 7월까지) 투입 예정
3. 주요 기술 스택 및 학습 키워드
데이터 엔지니어링 (Data Engineering): Python(파이썬)과 SQL을 기반으로 한 효율적인 query-tuning 및 시스템 디자인(system-design) 구조 파악
메시지 큐 & 스트리밍: Kafka(아파치 카프카)를 활용한 데이터 파이프라인 연결
분산 처리: Apache Spark(아파치 스파크) 및 pyspark를 이용한 대용량 데이터 처리 기술
인프라 & 캐싱: Redis 캐시 서버 활용 및 쿠버네티스 환경 이해
머신러닝(Machine Learning) & 딥러닝(Deep Learning): 추천 시스템(Recommendation System) 구현을 위한 기초 피처 엔지니어링 습득
클라우드 환경 데이터 파이프라인 (메달리온 아키텍쳐)
로드맵 상세보기
총 14개 코스

로드맵 코스 14
- 인프런
데이터 분석 SQL Fundamentals
- 인프런
비전공자도 이해할 수 있는 MySQL 성능 최적화 입문/실전 (SQL 튜닝편)
- 인프런
김영한의 실전 데이터베이스 - 설계 1편, 현대적 데이터 모델링 완전 정복
- 인프런
김영한의 실전 데이터베이스 - 설계 2편, 실무에서 반드시 마주치는 9가지 설계 패턴
- 인프런
김영한의 실전 데이터베이스 - 성능 최적화, 실행 계획과 인덱스 완전 정복
- 인프런
파이썬을 활용한 머신러닝 딥러닝 입문
- 인프런
(UPDATED) Python을 이용한 개인화 추천시스템 | 추천알고리즘 | 추천인공지능
- 인프런
실전! 딥러닝 기반 추천 시스템 구축
- 인프런
Kafka & Spark 활용한 Realtime Datalake
- 인프런
카프카 완벽 가이드 - 코어편
- 인프런
카프카 완벽 가이드 - 커넥트(Connect) 편
- 인프런
스파크 머신러닝 완벽 가이드 - Part 1
- 인프런
모르면 승진 안되는 데이터 아키텍처의 정석
- 인프런
모르면 승진 안되는 시스템 디자인











