강의

멘토링

로드맵

로드맵 썸네일

데이터 엔지니어링 + 추천시스템 (피치엔지니어링?)

작성자 프로필 이미지

홍태경

입문 대상

로드맵 참여중인 유저 프로필 사진
로드맵 참여중인 유저 프로필 사진

2명 참여중

조회수

27

로드맵 코스

1. 로드맵 작성 배경 및 목표

기존에는 ELT 파이프라인 구축 및 서브쿼리 중심의 RDBMS 모델링 위주로 작업을 진행해 왔습니다. 하지만 정작 기간계(ERP, 공통시스템, API) 원천에서 어떤 데이터가 어떤 절차와 소프트웨어 설계를 거쳐 생성되는지, 전체적인 데이터 아키텍처(Data Architecture) 흐름을 깊이 있게 이해하지 못했다는 아쉬움이 있었습니다.

본 로드맵을 통해 OLAP 데이터를 OLTP로 효과적으로 전달하는 실습을 진행하고, Big Data데이터베이스 관리 시스템 전반에 대한 이해도를 끌어올리고자 합니다.


2.목표

  • 카니야스 ERP 에서 원천 데이터를 모듈별로 어떻게 생성되는지 파악 (26년 10 ~ 27년 7월까지) 투입 예정




3. 주요 기술 스택 및 학습 키워드

  • 데이터 엔지니어링 (Data Engineering): Python(파이썬)SQL을 기반으로 한 효율적인 query-tuning시스템 디자인(system-design) 구조 파악

  • 메시지 큐 & 스트리밍: Kafka(아파치 카프카)를 활용한 데이터 파이프라인 연결

  • 분산 처리: Apache Spark(아파치 스파크)pyspark를 이용한 대용량 데이터 처리 기술

  • 인프라 & 캐싱: Redis 캐시 서버 활용 및 쿠버네티스 환경 이해

  • 머신러닝(Machine Learning) & 딥러닝(Deep Learning): 추천 시스템(Recommendation System) 구현을 위한 기초 피처 엔지니어링 습득

  • 클라우드 환경 데이터 파이프라인 (메달리온 아키텍쳐)





로드맵 상세보기

14개 코스

로드맵에 포함된 강의 썸네일
SQL의 핵심 요소에 대한 상세한 강의와 실습을 통해, 여러분이 SQL 분석 전문가로 성장할 수 있도록 흔들리지 않는 뼈대를 만들어 드리겠습니다.
로드맵에 포함된 강의 썸네일
설계시 실무에서 반드시 마주치는 공통 코드, 카테고리 계층 구조, 이력 추적 관리, Soft Delete, 통계, 동적 설계, JSON 활용등을 9가지 핵심 패턴으로 해결합니다.
단순 이론이 아닌, 수많은 프로젝트에서 검증된 실전 노하우와 상황별 선택 기준을 담았습니다. 이제 어떤 요구사항이 와도 자신 있게 설계하는 진정한 설계 전문가가 되어보세요.
로드맵에 포함된 강의 썸네일
"개발할 때는 잘 되던 쿼리가, 데이터가 쌓이니 갑자기 느려집니다." 이때 감이 아니라 근거로 원인을 찾아 30초 걸리던 쿼리를 0.1초로 만드는 것이 실무에서 인정받는 개발자의 실력입니다. 실행 계획, 인덱스, 옵티마이저, 조인과 정렬까지 수백만 건의 실전 데이터로 성능의 핵심 원리를 완성하고, 운영 환경의 느린 쿼리를 스스로 분석하고 해결하는 한 단계 높은 개발자로 성장하세요.
로드맵에 포함된 강의 썸네일
데이터의 세계로 첫발을 내딛고 싶으신가요? AI의 핵심 기술인 머신러닝과 딥러닝을 파이썬과 함께 배워보세요. 이 강의는 머신러닝과 딥러닝의 기초부터 실제 응용까지, 단계별로 친절하게 안내합니다. 전통적인 머신러닝과 딥러닝은 많은 부분에서 동일한 원리와 기술 체계에 기반하고 있습니다. 따라서 본 강의에서는 두 가지를 별도의 과목으로 분리하지 않고 하나의 연결된 과정으로 구성하여 입문자가 머신러닝 전반에 걸친 이해도를 높일 수 있도록 하였습니다.
로드맵에 포함된 강의 썸네일
본 강의는 추천시스템의 기본개념부터 딥러닝 적용원리까지 다룹니다. 협업 필터링, 콘텐츠 기반 필터링, 하이브리드 추천 시스템 등 다양한 추천 알고리즘을 배우며 추천 서비스 개발을 위한 실무역량을 키워보세요!
로드맵에 포함된 강의 썸네일
초보자를 위한 Kafka & Spark 실시간 파이프라인 입문 강의.
핵심 개념부터 아키텍처까지 마스터하기 위한 올인원 강의입니다.
로드맵에 포함된 강의 썸네일
카프카(Kafka)의 핵심부터 내부 메커니즘에 대한 심화 수준의 내용까지, 상세한 이론 설명과 핸즈온 실습 & 실전 카프카 애플리케이션 개발 실습을 통해 카프카를 시작하는 사람도 단숨에 전문가 레벨로 도달할 수 있도록 강의를 구성했습니다.
로드맵에 포함된 강의 썸네일
카프카 커넥트(Kafka Connect)에 대한 깊이 있는 이론 설명과 현업에서 바로 사용될 수 있는 수준의 상세한 실습을 통해 여러분을 현장에서 필요로 하는 카프카 커넥트 기반의 데이터 연동 및 데이터 파이프라인 구축 전문가로 성장시켜 드릴 것입니다.
로드맵에 포함된 강의 썸네일
스파크(Spark) 머신러닝의 핵심 Framework에 대한 이해,  난이도 높은 실전 문제를 통한 SQL 기반의 데이터 가공,  업무 도메인 분석을 통한 데이터 분석과 최적화된 머신러닝 모델 구현 능력까지, 대용량 데이터 기반에서 머신러닝 전문가로 인정 받고 싶다면 이 강의와 함께 하십시요.
로드맵에 포함된 강의 썸네일
데이터 시대, 진정한 가치를 발견하라! 📊
데이터에 집중된 어플리케이션 설계는 이제 필수가 되었습니다.
최신 트렌드와 실무 중심의 사례로 회사가 원하는 인사이트와 실력을 키워보세요.
효율적인 데이터 처리와 설계 비법, 지금 바로 시작하세요!
당신의 다음 스텝, 데이터 중심의 세계로 도약하세요!
로드맵에 포함된 강의 썸네일
실리콘 밸리 엔지니어 아저씨들이 가르치는 소프트웨어 시스템 디자인 강의에서는 대규모 시스템의 설계 원칙과 아키텍처 패턴을 학습하며, 안정적이고 확장 가능한 소프트웨어 솔루션을 구축하는 방법을 배웁니다. 또한, 실무 사례를 통해 성능 최적화 및 장애 대응 전략을 다룹니다.

로드맵 코스 14