강의

멘토링

로드맵

Data Science

/

Data Engineering

dbt、データ分析エンジニアリングの新しい標準

データウェアハウス(DW)の繰り返しのパイプライン管理、これからはdbtでその苦痛の束縛から解放されましょう! dbtが提供する効率性の上で、ビジネス中心のデータモデリング、効果的なデータライフサイクル管理など、より高い価値を創出するデータ分析エンジニアへと生まれ変わりましょう。

  • DeepingSauce
dbt
Big Data
Business Productivity
Data Engineering
Data literacy

学習した受講者のレビュー

こんなことが学べます

  • Source, Seed, Model, Test, Docsなどdbtのコアリソースを直接作成・管理するハンズオン

  • dbt リポジトリ initから、環境設定、そして実際のモデル開発までの全過程

  • 複雑なデータパイプライン管理、データ品質保証、ドキュメント化など、データウェアハウス運用の慢性的な問題点をdbtで解決する方法

  • Incremental Materialization, dbt Packages, Schema管理などdbtで生産性を最大化できる深化テクニック

  • dbtをAirflowとともに使用してデータパイプラインをより効率的かつ安定的に構築・運用する方法(既存方式との比較を含む)

  • 実務でdbtを導入した際にData Analytics Engineerの業務スタイルがどのように変化し、どのようなより重要な問題に集中できるようになるのかの経験に基づいたインサイト

🔥 DW運営の繰り返し苦しみ、dbtでピリオドを取る。


😥毎日のように、データパイプラインの複雑な依存関係を追跡し、壊れたデータを探して迷って、誰も更新しない文書を見ながらため息をついていませんか?

SQLとAirflowは扱うと思いますが、まだこのような繰り返しの作業に時間を費やして「ホイールを再発明」しているという感じを消せないと、よく訪ねてきました。

データ分析エンジニアリング(Data Analytics Engineering)の判断を変えているdbt(data build tool)に注目していますか?最近、シリコンバレーの主要ビッグテク企業採用公告(JD)でも、dbt活用能力を求める比重が増えているだけに、dbtは現在選択ではなく必須技術としてますます位置づけられています。実際、dbtは長い間解決されていなかったデータウェアハウス領域のさまざまな問題に対する強力な解決策を提示し、大きな革新を生み出しています。


(ビッグテックJDでもdbtがスマルスマル…)

しかし、まだ多くの企業やチームでは、dbtの真の可能性を十分に活用していないのが現実です。 「dbtはとても良いですが、それでこれをウェアハウスにどのように溶かすべきですか?」この質問に答えを探している人のために、実際の仕事にdbtを適用してデータウェアハウス運営の非効率性を排除し、データエンジニアがより重要で本質的な問題に集中するのを助けることがこの講義の重要な目標です。

このレッスンは単純な機能説明を超えています。 dbtが誕生した背景( Why )から、データリネージュ管理、品質確保、文書化、バックフィルなど、現場の質の高い問題を解決する核心原理( How )まで深く取り上げます。さらに、これらの原則の実際の適用に加えて、Airflowとの効果的な連携などの実践的な活用法が、少なくとも5倍以上の業務生産性向上(Impact)という驚くべき結果につながるか、私の経験と鮮やかな例を通して明確にお見せします。

繰り返しの単純な作業は今dbtに任せてください。そして、dbtが開く新たな可能性の上で、Data Architect/modeling、Data Engineering Lifecycleなど、データの核心価値を探求し、さらに一歩成長するエンジニアになる機会をこの講義で捉えてください。

この講義の特徴は、


📖ストーリーテリングベースの体系的なカリキュラム

dbtの公式文書や講義のように、機能固有のオムニバス式の構成ではなく、 dbt projectの設定から始まり、徐々に機能を拡張して深化するストーリーテリング方式で構成されています。各セクションは有機的に接続され、dbtの全体像を自然に理解することができます

💻理論+Hands-on+実務Tip

dbtのコアコンセプトの説明とともに、ローカル環境(DuckDB)で直接dbtプロジェクトを構築して実行する豊富なHands-onを提供します。

🆚 Airflow連動、従来方式との明確な比較

データパイプラインオーケストレータであるAirflowとdbtを一緒に使用する方法について説明します。特に、 dbtなしでAirflowのみを使用したときの非効率的なパイプライン構築過程とdbtを導入したときの劇的な改善効果を直接比較し、 dbt + Airflow組み合わせの強力さを体感できるように構成しました。

📈生産性「x5」向上の秘密、経験ベースのノウハウ

単にdbt機能を列挙するのではなく、実際の現業で床からdbtを導入し、経験した悩みとトラブルシューティングプロセスに基づいて、なぜdbtが強力なのか、どのように業務生産性を劇的に高めることができるのか鮮やかに伝えます。

これを学ぶ


  1. dbtコア哲学とデータ問題解決能力を獲得


  • 単にdbtの使い方を超えて、dbtがなぜデータ分析エンジニアリングの標準として浮上したのか、その重要な価値と哲学を理解します。

  • これに基づいて、データリネージュ管理の難しさ、データ品質の低下、文書化の欠如、繰り返しのバックフィル作業など、ビジネスデータウェアハウスの高品質な問題をdbtでどのように効果的に解決できるかが明確になります。


  1. SQLとJinja/macroを活用した本番データパイプラインの構築能力強化

  • JinjaとMacro、そして増分モデリングなどのdbtの高度な機能を活用してSQLコードの繰り返しを減らし、再利用性を高め、大容量データ処理効率まで最適化する方法を学びます

  • 他の方法よりも簡単にデータ品質テストをテーブルに適用する方法を学びます。

  1. 集中型データカタログ、dbt Docs

  • dbt Docsを使用して、テーブル/ビューのリスト、列ごとの説明とデータ型、モデル間の詳細な関係図(Lineage)、適用されたテストリストと結果、さまざまなメタ情報などを一箇所で効果的に照会して共有することで、チーム全体のデータ理解度を高め、データベースのシームレスなコラボレーション環境を構築します。

  1. Airflow連動による安定したデータパイプライン運用

  • dbt と Airflow を緩やかに結合(loosely coupled)し、データ変換(dbt)とオーケストレーション(Airflow)ロジックを明確に分離し、パイプライン全体を自動化する実用アーキテクチャを習得します

  • dbtの自動依存性管理のおかげで、Airflow DAG構成は非常に簡潔になり、複雑な手動設定から生じるヒューマンエラーを減らし、運用安定性を確保する方法をdbt導入前後の比較で明確に理解します

講義実習 Hands-onの例

ロジックのみに集中するモデル開発:データリネージュを見て、SQLモデルをすばやく開発します

すべてのメタ情報を収集するdbt docs:豊富なデータ文書、今すぐ完成

あまりにも簡単 Airflow 連動:テーブル依存性のまま、Airflow DAG を自動化します。

3行で実装するデータ品質テストわずか3行のコードで、データ品質テストを実装します。

受講後は、


dbtのコア機能を習得し、実務にすぐに適用可能なレベルの理解度を備えています。

単に dbt を「知ること」を越えて、 「なぜ」 dbt を使うべきか、「どのように」使うべきかを明確に理解し、自信を持って活用できるようになります。

dbtを使用すると、データパイプラインの品質と信頼性を向上させ、コラボレーション効率を向上させることができます。

データウェアハウス運用の反復的で消費的な作業(Lineageトレース、手動文書化、複雑なBackfillなど)から解放されます

dbtを使用すると、繰り返し運用業務から抜け出し、ビジネス要件を正確に反映する効率的なSQLロジックを設計し、データモデルの構造的完成度を高めるなど、重要な価値に集中できるエンジニアとして一段階成長することができます。


こんな方におすすめです

「データパイプライン管理、よりスマートに自動化したい」

SQL/Airflowはおなじみですが、反復的なDW運用よりも効率的なデータ変換の自動化に焦点を当てた低年次データ(分析)エンジニア

「dbtが良いことはわかりますが…それで、これを私たちの会社のDWにどのように適用するのですか?」

dbt基礎概念はあるが、実際のDW環境の解釈は問題(リネージュ、品質、文書化など)を解決するdbt実践活用法が気になるデータ専門家

「「REAL」データ分析エンジニア(Analytics Engineer)」でレベルアップしたい!

単純なパイプライン操作を超えて、効果的なデータモデリングとSQLの再利用性とテストの自動化により、「データ分析エンジニア」のコアコンピテンシーを育成したい人

受講前の注意


💻実践環境

  • このレッスンはmacOS環境基準で行われます

    • Windows環境のユーザーは、(前の講義のように)AnacondaプロンプトやWSL2の設定などが必要な場合があり、そのためのガイドは提供されていません。


  • Anacondaなどの環境設定はすでに行われているとします。 (Conda仮想環境の作成とpipの使い方説明X)

  • 使用ライブラリのバージョン


    astronomer-cosmos==1.9.2 dbt-duckdb==1.9.2 dbt-core==1.9.4
  • ライブラリ以外の主な使用ツール:VSCode(Cursor対応)、DuckDB、DBeaver

  • 学習資料は講義最終完成本基準のソースコードが提供されます(dbtレポ、airflowレポ)


🧑‍💻講義資料

  • ご提供いただく講義資料(ソースコード)には、最後の講義時点の完成した形が含まれています。

  • そのため、提供されるコードは詰まっている部分で参考用に活用し、講義カリキュラムにしたがって直接コードを作成して実習することをお勧めします。手でコードを入力して実行することで、より深い学習効果を得ることができます。


🚨注意事項

  • オリエンテーションを必ず視聴してください。講義の目標と範囲を理解するために重要です。

  • 講義映像で使用するライブラリバージョンと、受講時点での最新ライブラリバージョンは異なる場合があります。以前のレッスンと同様に、原則は中心的なクラスであるため、 dbtのコア哲学と問題解決方法の深い理解を提供することに焦点を当てます。そのため、ライブラリ間のバージョン差や文法の変化に慌てず、公式文書やコミュニティなどを参考に、自ら探索して適応していく実質的な力量を育てることをもう一つの学習目標としています。

  • 最初からフォローするのではなく、フルフローを一度完了した後、再び戻ってハンドオンを進める方が学習効果が良いかもしれません(セクション間の関連性が高い)

  • データのソースシステムからの収集(Extraction)、データレイク/ウェアハウスへの初期ロード(Load)、リアルタイムストリーミングデータ処理などは、本講義の範囲には含まれません。このレッスンでは、データがウェアハウスレイヤーでのテーブル変換(Transformation)およびモデリング段階に集中します


知識共有者の紹介


データエンジニアリングの分野でさまざまな問題を解決している開発者です。

私はまた、現業でデータウェアハウス(DW)を構築して運営し、データリネージュの追跡の難しさ、繰り返しのバックフィル作業、シンクが合わない文書管理など、数多くの問題にぶつかりました。このような苦しみの中でdbtに出会い、dbtがもたらす驚くべき生産性の向上と開発文化の肯定的な変化を直接経験しました。現業では、dbtを通じて約5,000個に及ぶデータ資産(源泉テーブル、DWテーブル、ダッシュボードなど)を効率的に管理し、生産性の劇的な向上と開発文化の肯定的な変化を体感し、個人クォント投資システムにも核心的に活用しています。

多くの同僚のエンジニアがまだ「車輪を再発明する」非効率性にとどまっているのを見て、残念でした。それで、私はdbtを通して得た革新的な経験と問題解決のノウハウを共有し、あなたがdbtという強力な世界にもっと簡単で効果的に浸透することができる通路を作りたいと思います。

このレッスンが単なるツール使用法の専修を超えて、あなたが繰り返しの作業から抜け出して、dbtがもたらす働き方の革新と成長を経験するきっかけになることを願っています。


Inflearnの他の講義:

こんな方に
おすすめです

学習対象は
誰でしょう?

  • データリネージの把握、品質管理、文書化、バックフィルなどデータウェアハウス運用の慢性的な問題に対する解決策を探している方

  • dbtというツールについて聞いたことがあったり、簡単に使ったことがあっても、実際のプロジェクトにどうすれば効果的に適用できるか、コツを掴みたい方

  • 既存のdbtの講義やドキュメントが断片的であったり、クラウド環境中心であったため物足りなさを感じていた方、ストーリーテリングベースの韓国語dbt講義を希望される方

  • データ分析エンジニア(Analytics Engineer)として生産性を最大化し、より重要な問題(モデリング、アーキテクチャ設計など)に集中したい方

  • データパイプライン構築・運用で、反復作業や管理の困難を感じるデータエンジニア

  • データウェアハウス領域でどのような業務を行い、どのような困難があるのか気になる方

  • データアナリスト(Data Analyst)として分析業務を超え、dbtを通じた役割の拡張をしてみたい方

前提知識、
必要でしょうか?

  • [必須] '文系学生も、非専攻者も、誰でも学べるPython' またはPython基礎内容、「ライブラリ」に対する概念的理解が必要(dbtはPythonベース)

  • [必須] 開発環境の基本知識: Conda (または venv) 仮想環境、Unixベースのターミナル(macOS/Linux) の使用に慣れていること

  • [必須] 基本的なSQLクエリ作成能力

  • [推奨] 1年程度のレベルのデータ (Analytics/Warehouse) エンジニアリング経験、あるいはcontainerベースのAirflowを実行し、簡単なDAGを開発・運用した経験

こんにちは
です。

16,475

受講生

591

受講レビュー

326

回答

4.9

講座評価

5

講座

데이터로 미래를 설계하고 현실의 문제를 해결하는 데이터 엔지니어입니다.

데이터 기반 통찰을 사랑하며, 평생 학습(Life-long Learner)하고 지식을 나누는 기여자(Contributor)가 되고자 합니다

カリキュラム

全体

42件 ∙ (10時間 16分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

17件

4.9

17件の受講レビュー

  • 베일리님의 프로필 이미지
    베일리

    受講レビュー 1

    平均評価 5.0

    5

    90% 受講後に作成

    dbt툴을 너무 배우고 싶었는데 큰도움이 되었습니다. 저희 팀이 더 효율적으로 자동화할수 있는 가능성이 많이 보여서 기대가 됩니다. 강의 중간에 실수하는 내용도 다 보여주시고 오류를 잡아가시는 과정을 다 보여주셔서 현업에서 사수가 바로 눈앞에서 문제해결해가는 모습을 본거같습니다. 여러 시행착오를 해볼수있는 동기부여가 된거같습니다 ㅎㅎ 배운내용 토대로 독스도 열심히 읽고 적용해봐야겠습니다. 고생많으셨습니다!

    • Canadian32님의 프로필 이미지
      Canadian32

      受講レビュー 5

      平均評価 4.2

      5

      67% 受講後に作成

      일단 설명을 굉장히 잘하십니다. 대부분 실습 위주로 가서 좋았고, 오류는 바로바로 캡션으로 수정해주시는 모습에 강의 검수가 잘 되었다는 생각이 들었습니다.

      • 김정윤님의 프로필 이미지
        김정윤

        受講レビュー 2

        平均評価 5.0

        5

        31% 受講後に作成

        • 쑤니님의 프로필 이미지
          쑤니

          受講レビュー 1

          平均評価 5.0

          5

          33% 受講後に作成

          • 커리어하이님의 프로필 이미지
            커리어하이

            受講レビュー 1

            平均評価 5.0

            5

            62% 受講後に作成

            dbt 내용이 너무 방대해서 개념을 잘 못잡았었는데, 입문자들이 궁금해할만한 것들을 핵심만 잘 잡아주시는듯... 조금 더 딥한내용도 다뤄줬으면 했지만 이정도면 이제 필요한 내용만 혼자 익혀나가면 될듯

            ¥12,077

            DeepingSauceの他の講座

            知識共有者の他の講座を見てみましょう!

            似ている講座

            同じ分野の他の講座を見てみましょう!