강의

멘토링

로드맵

데이터 사이언스

/

데이터 엔지니어링

dbt, 데이터 분석 엔지니어링의 새로운 표준

데이터 웨어하우스(DW)의 반복적인 파이프라인 관리, 이제 dbt로 그 고통의 굴레에서 해방되세요! dbt가 제공하는 효율성 위에서, 비즈니스 중심의 데이터 모델링, 효과적인 데이터 생애 주기 관리 등 더 높은 가치를 창출하는 데이터 분석 엔지니어로 거듭나세요.

(4.9) 수강평 15개

수강생 74명

  • DeepingSauce

먼저 경험한 수강생들의 후기

이런 걸 배울 수 있어요

  • Source, Seed, Model, Test, Docs 등 dbt의 핵심 리소스를 직접 만들고 관리하는 hands-on

  • dbt 레포지토리 init부터, 환경설정, 그리고 실제 모델 개발까지의 전 과정

  • 복잡한 데이터 파이프라인 관리, 데이터 품질 보증, 문서화 등 데이터 웨어하우스 운영의 고질적인 문제들을 dbt로 해결하는 방법

  • Incremental Materialization, dbt Packages, Schema 관리 등 dbt로 생산성을 극대화 할 수 있는 심화 테크닉

  • dbt를 Airflow와 함께 사용하여 데이터 파이프라인을 보다 효율적이고 안정적으로 구축하고 운영하는 방법(기존 방식과의 비교 포함)

  • 실무에서 dbt를 도입했을 때 Data Analytics Engineer의 업무 방식이 어떻게 변화하고, 어떤 더 중요한 문제에 집중할 수 있게 되는지의 경험 기반의 인사이트

🔥DW 운영의 반복되는 고통, dbt로 마침표를 찍다.


😥혹시 매일같이 데이터 파이프라인의 복잡한 의존성을 추적하고, 깨진 데이터를 찾아 헤매고, 아무도 업데이트하지 않는 문서를 보며 한숨 쉬고 있진 않으신가요?

SQL과 Airflow는 다룰 줄 알지만, 여전히 이런 반복적인 작업에 시간을 쏟으며 '바퀴를 재발명'하고 있다는 느낌을 지울 수 없다면, 잘 찾아오셨습니다.

데이터 분석 엔지니어링(Data Analytics Engineering)의 판도를 바꾸고 있는 dbt(data build tool)를 주목하고 계신가요? 최근 실리콘밸리의 주요 빅테크 기업 채용공고(JD)에서도 dbt 활용 역량을 요구하는 비중이 늘고 있을 만큼, dbt는 이제 선택이 아닌 필수 기술로 점점 자리 잡고 있습니다. 실제로 dbt는 오랫동안 해결되지 못했던 데이터 웨어하우스(Warehouse) 영역의 여러 난제에 대한 강력한 해법을 제시하며 큰 혁신을 만들어내고 있습니다.


(빅테크 JD에서도 dbt가 스멀스멀...)

그렇지만 아직 많은 기업과 팀에서는 dbt의 진정한 잠재력을 충분히 활용하지 못하고 있는 것이 현실입니다. "dbt가 그렇게 좋다는데, 그래서 이걸 웨어하우스에 어떻게 녹여내야 할까?" 바로 이 질문에 답을 찾고자 하는 분들을 위해, dbt를 실제 업무에 적용하여 데이터 웨어하우스 운영의 비효율성을 제거하고, 데이터 엔지니어 여러분이 더 중요하고 본질적인 문제에 집중할 수 있도록 돕는 것이 이 강의의 핵심 목표입니다.

이 강의는 단순한 기능 설명을 넘어섭니다. dbt가 탄생한 배경(Why)부터 데이터 리니지 관리, 품질 확보, 문서화, 백필 등 현장의 고질적인 문제들을 해결하는 핵심 원리(How)까지 깊이 있게 다룹니다. 더 나아가, 이러한 원리의 실제 적용과 더불어 Airflow와의 효과적인 연동 같은 실전 활용법이 어떻게 최소 5배 이상의 업무 생산성 향상(Impact)이라는 놀라운 결과로 이어지는지, 제 경험과 생생한 예시를 통해 명확히 보여드릴 것입니다

반복적인 단순 작업은 이제 dbt에게 맡기세요. 그리고 dbt가 열어주는 새로운 가능성 위에서, Data Architect/modeling, Data Engineering Lifecycle 등 데이터의 핵심 가치를 탐구하고 한 단계 더 성장하는 엔지니어가 될 기회를 이 강의로 잡으시길 바랍니다.

이 강의의 특징은,


📖 스토리텔링 기반의 체계적인 커리큘럼

dbt 공식 문서나 강의처럼 기능별 옴니버스식 구성이 아닌, dbt project 설정부터 시작하여 점진적으로 기능을 확장하고 심화하는 스토리텔링 방식으로 구성되어 있습니다. 각 섹션이 유기적으로 연결되어 dbt의 전체 그림을 자연스럽게 이해할 수 있습니다

💻 이론 + Hands-on + 실무 Tip

dbt의 핵심 개념 설명과 함께, 로컬 환경(DuckDB)에서 직접 dbt 프로젝트를 구축하고 실행하는 풍부한 Hands-on을 제공합니다

🆚 Airflow 연동, 기존 방식과의 명확한 비교

데이터 파이프라인 오케스트레이터인 Airflow와 dbt를 함께 사용하는 방법을 다룹니다. 특히, dbt 없이 Airflow만 사용했을 때의 비효율적인 파이프라인 구축 과정과 dbt를 도입했을 때의 극적인 개선 효과를 직접 비교하며 dbt + Airflow 조합의 강력함을 체감할 수 있도록 구성했습니다.

📈 생산성 'x5' 향상의 비밀, 경험 기반의 노하우

단순히 dbt 기능을 나열하는 것이 아니라, 실제 현업에서 바닥부터 dbt를 도입하며 겪었던 고민과 문제 해결 과정을 바탕으로 왜 dbt가 강력한지, 어떻게 업무 생산성을 극적으로 높일 수 있는지 생생하게 전달합니다.

이런 것을 배워요


  1. dbt 핵심 철학 및 데이터 문제 해결 능력 습득


  • 단순히 dbt 사용법을 넘어, dbt가 왜 데이터 분석 엔지니어링의 표준으로 부상했는지 그 핵심 가치와 철학을 이해합니다.

  • 이를 바탕으로 데이터 리니지 관리의 어려움, 데이터 품질 저하, 문서화 부재, 반복적인 백필 작업 등 현업 데이터 웨어하우징의 고질적인 문제들을 dbt로 어떻게 효과적으로 해결할 수 있는지 명확히 알게 됩니다.


  1. SQL과 Jinja/macro를 활용한 실전 데이터 파이프라인 구축 역량 강화

  • Jinja와 Macro, 그리고 증분(Incremental) 모델링과 같은 dbt의 고급 기능을 활용하여 SQL 코드의 반복을 줄이고, 재사용성을 높이며, 대용량 데이터 처리 효율까지 최적화하는 방법을 배웁니다

  • 다른 어떤 방식보다 손쉽게 데이터 품질 테스트를 테이블에 적용하는 방법에 대해서 배웁니다.

  1. 중앙 집중형 데이터 카탈로그, dbt Docs

  • dbt Docs를 통해 테이블/뷰 목록, 컬럼별 설명 및 데이터 타입, 모델 간의 상세한 관계도(Lineage), 적용된 테스트 목록 및 결과, 각종 메타 정보 등을 한 곳에서 효과적으로 조회하고 공유함으로써, 팀 전체의 데이터 이해도를 높이고 데이터 기반의 원활한 협업 환경을 조성합니다.

  1. Airflow 연동을 통한 안정적인 데이터 파이프라인 운영

  • dbt와 Airflow를 느슨하게 결합(loosely coupled)하여 데이터 변환(dbt)과 오케스트레이션(Airflow) 로직을 명확히 분리하고, 전체 파이프라인을 자동화하는 실전 아키텍처를 익힙니다

  • dbt의 자동화된 의존성 관리 덕분에 Airflow DAG 구성이 매우 간결해져, 복잡한 수동 설정에서 비롯되는 휴먼 에러를 줄이고 운영 안정성을 확보하는 방법을 dbt 도입 전후 비교를 통해 명확히 이해합니다

강의 실습 Hands-on 예시

로직에만 집중하는 모델 개발: 데이터 리니지 보며, SQL 모델을 빠르게 개발합니다

모든 메타 정보를 모아주는 dbt docs: 풍부한 데이터 문서, 이제 손쉽게 완성하세요

너무 쉬운 Airflow 연동: 테이블 의존성 그대로, Airflow DAG을 자동화합니다.

3줄로 구현하는 데이터 품질 테스트: 단 3줄의 코드로, 데이터 품질 테스트를 구현합니다.

수강 후에는,


dbt의 핵심 기능을 익히고 실무에 바로 적용 가능한 수준의 이해도를 갖추게 됩니다.

단순히 dbt를 '아는 것'을 넘어, '왜' dbt를 써야 하는지, '어떻게' 써야 하는지를 명확히 이해하고 자신감 있게 활용할 수 있게 됩니다.

dbt로 데이터 파이프라인의 품질과 안정성을 높이고, 협업 효율성을 개선할 수 있습니다.

데이터 웨어하우스 운영의 반복적이고 소모적인 작업 (Lineage 추적, 수동 문서화, 복잡한 Backfill 등)에서 해방됩니다.

dbt를 통해 반복적인 운영 업무에서 벗어나, 비즈니스 요구사항을 정확히 반영하는 효율적인 SQL 로직을 설계하고 데이터 모델의 구조적 완성도를 높이는 등의 핵심 가치에 집중할 수 있는 엔지니어로서 한 단계 성장할 수 있습니다.


이런 분들께 추천해요

"데이터 파이프라인 관리, 더 스마트하게 자동화하고 싶어요"

SQL/Airflow는 익숙하지만, 반복적인 DW 운영보다 효율적인 데이터 변환 자동화에 집중하고픈 저년차 데이터 (분석) 엔지니어

"dbt가 좋다는 건 알겠는데... 그래서 이걸 우리 회사 DW에 어떻게 적용해야 할까요?"

dbt 기초 개념은 있지만, 실제 DW 환경의 해묵은 문제(리니지, 품질, 문서화 등)를 해결할 dbt 실전 활용법이 궁금한 데이터 전문가

"'REAL' 데이터 분석 엔지니어(Analytics Engineer)'로 레벨업 하고 싶어요!"

단순 파이프라인 운영을 넘어, 효과적인 데이터 모델링과 SQL 재사용성 및 테스트 자동화로 '데이터 분석 엔지니어' 핵심 역량을 키우고 싶은 분

수강 전 참고 사항


💻실습 환경

  • 본 강의는 macOS 환경 기준으로 진행됩니다

    • Windows 환경 사용자는 (앞선 강의들처럼) Anaconda prompt 혹은 WSL2 설정 등이 필요할 수 있으며, 이에 대한 가이드는 제공되지 않습니다.


  • Anaconda 등의 환경설정은 이미 되었다고 가정합니다. (Conda 가상환경 생성 및 pip 사용법 설명 X)

  • 사용 라이브러리 버전


    astronomer-cosmos==1.9.2 dbt-duckdb==1.9.2 dbt-core==1.9.4
  • 라이브러리 외 주요 사용 도구: VSCode (Cursor 가능), DuckDB, DBeaver

  • 학습자료는 강의 최종 완성본 기준의 소스코드가 제공됩니다(dbt 레포, airflow 레포)


🧑‍💻 강의자료

  • 제공해 드리는 강의 자료(소스 코드)는 마지막 강의 시점의 완성된 형태를 담고 있습니다.

  • 때문에 제공되는 코드는 막히는 부분에서 참고용으로 활용하시고, 강의 커리큘럼에 따라 직접 코드를 작성하며 실습하시는 것을 권장합니다. 손으로 코드를 입력하고 실행해보는 과정을 통해 더욱 깊이 있는 학습 효과를 얻으실 수 있습니다.


🚨 주의사항

  • 오리엔테이션을 반드시 시청해주세요. 강의 목표와 범위를 이해하는 데 중요합니다.

  • 강의 영상에서 사용하는 라이브러리 버전과, 수강 시점에서의 최신 라이브러리 버전은 다를 수 있습니다. 이전 강의들과 마찬가지로, 원리가 중심인 수업이기 때문에, dbt의 핵심 철학과 문제 해결 방식에 대한 깊이 있는 이해를 제공하는 데 집중합니다. 따라서 라이브러리간의 버전 차이나 문법 변화에 당황하지 않고, 공식 문서나 커뮤니티 등을 참고하여 스스로 탐색하고 적응해나가는 실질적인 역량을 키우는 것을 또 하나의 학습 목표로 삼고 있습니다.(핵심 원리를 제대로 파악하고 있다면, 변화하는 기술 환경에서도 충분히 능동적으로 대처하실 수 있을 것입니다)

  • 처음부터 따라 하기보다는, 전체 흐름을 한번 완강한 후, 다시 돌아와 Hands-on을 진행하는 것이 학습 효과가 더 좋을 수 있습니다(섹션 간 연관성이 높음)

  • 데이터의 원천 시스템으로부터의 수집(Extraction), 데이터 레이크/웨어하우스로의 초기 적재(Load), 실시간 스트리밍 데이터 처리 등은 본 강의 범위에 포함되지 않습니다. 본 강의는 데이터가 웨어하우스 layer에서의 테이블변환(Transformation) 및 모델링 단계에 집중합니다.


지식공유자 소개


데이터 엔지니어링의 영역에서 다양한 문제를 해결하고 있는 개발자입니다.

저 또한 현업에서 데이터 웨어하우스(DW)를 구축하고 운영하며 데이터 리니지 추적의 어려움, 반복적인 백필 작업, 싱크가 맞지 않는 문서 관리 등 수많은 문제에 부딪혔습니다. 이러한 고통(?) 속에서 dbt를 만나게 되었고, dbt가 가져다주는 놀라운 생산성 향상과 개발 문화의 긍정적인 변화를 직접 경험했습니다. 현업에서 dbt를 통해 약 5,000개에 달하는 데이터 자산(원천 테이블, DW 테이블, 대시보드 등)을 효율적으로 관리하며 생산성의 극적인 향상과 개발 문화의 긍정적 변화를 체감했고, 개인 퀀트 투자 시스템에도 핵심적으로 활용하고 있습니다.

많은 동료 엔지니어들이 여전히 '바퀴를 다시 발명하는' 비효율에 머무는 것을 보며 안타까웠습니다. 그래서 제가 dbt를 통해 얻은 혁신적인 경험과 문제 해결 노하우를 공유하여, 여러분들이 dbt라는 강력한 세계에 보다 쉽고 효과적으로 스며들 수 있는 통로를 만들고자 이 강의를 준비했습니다.

이 강의가 단순한 툴 사용법 전수를 넘어, 여러분이 반복적인 작업에서 벗어나 dbt가 가져다줄 일하는 방식의 혁신과 성장을 경험하는 계기가 되기를 바랍니다.


인프런의 다른 강의들:

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • 데이터 리니지 파악, 품질 관리, 문서화, 백필 등 데이터 웨어하우스 운영의 고질적인 문제에 대한 해결책을 찾고 있는 분

  • dbt라는 툴에 대해 들어봤거나 간단히 사용해봤지만, 실제 프로젝트에 어떻게 효과적으로 적용할지 감을 잡고 싶은 분

  • 기존 dbt 강의나 문서가 단편적이거나 클라우드 환경 위주여서 아쉬웠던 분, 스토리텔링 기반의 한국어 dbt 강의를 원하시는 분

  • 데이터 분석 엔지니어(Analytics Engineer)로서 생산성을 극대화하고, 더 중요한 문제(모델링, 아키텍처 설계 등)에 집중하고 싶으신 분

  • 데이터 파이프라인을 구축/운영하며 반복적인 작업과 관리의 어려움을 느끼는 데이터 엔지니어

  • 데이터 웨어하우스 영역에서 어떤 일을 하고, 어떤 어려움이 있는지 궁금하신 분

  • 데이터 분석가(Data Analyst)로서 분석 업무를 넘어, dbt를 통한 역할의 확장을 해보고 싶으신 분

선수 지식,
필요할까요?

  • [필수] '문과생도, 비전공자도, 누구나 배울 수 있는 파이썬' 혹은 파이썬 기초 내용, '라이브러리'에 대한 개념적 이해 필요(dbt는 Python 기반)

  • [필수] 개발 환경 기본 지식: Conda (혹은 venv) 가상환경, Unix 기반 터미널(macOS/Linux) 사용에 익숙

  • [필수] 기본적인 SQL 쿼리 작성 능력

  • [권장] 1년 정도 수준의 데이터 (Analytics/Warehouse) 엔지니어링 경험 혹은 container기반 Airflow를 실행하고 간단한 DAG을 작성/운영해 본 경험

안녕하세요
입니다.

16,441

수강생

588

수강평

326

답변

4.9

강의 평점

5

강의

데이터로 미래를 설계하고 현실의 문제를 해결하는 데이터 엔지니어입니다.

데이터 기반 통찰을 사랑하며, 평생 학습(Life-long Learner)하고 지식을 나누는 기여자(Contributor)가 되고자 합니다

커리큘럼

전체

42개 ∙ (10시간 16분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

전체

15개

4.9

15개의 수강평

  • ehrktm0904985님의 프로필 이미지
    ehrktm0904985

    수강평 2

    평균 평점 5.0

    5

    31% 수강 후 작성

    • dfsafdsa님의 프로필 이미지
      dfsafdsa

      수강평 1

      평균 평점 5.0

      5

      33% 수강 후 작성

      • thecross님의 프로필 이미지
        thecross

        수강평 1

        평균 평점 5.0

        5

        62% 수강 후 작성

        The dbt content was so extensive that I couldn't grasp the concepts well, but it seems like you've captured the key points that beginners would be curious about... I wish you had covered some deeper content as well, but at this level, I think I can now learn the necessary parts on my own.

        • pcy78059442님의 프로필 이미지
          pcy78059442

          수강평 2

          평균 평점 5.0

          5

          100% 수강 후 작성

          • cr7님의 프로필 이미지
            cr7

            수강평 1

            평균 평점 5.0

            5

            76% 수강 후 작성

            The basic content is good. However, it would have been nice to have examples that implement data pipelines that might actually be built in real-world scenarios.

            2025 추석맞이 감사할인 중 (8일 남음)

            ₩58

            24%

            ₩99,000

            DeepingSauce님의 다른 강의

            지식공유자님의 다른 강의를 만나보세요!

            비슷한 강의

            같은 분야의 다른 강의를 만나보세요!