dbt、デヌタ分析゚ンゞニアリングの新しい暙準

デヌタりェアハりス(DW)の繰り返しのパむプラむン管理、これからはdbtでその苊痛の束瞛から解攟されたしょう dbtが提䟛する効率性の䞊で、ビゞネス䞭心のデヌタモデリング、効果的なデヌタラむフサむクル管理など、より高い䟡倀を創出するデヌタ分析゚ンゞニアぞず生たれ倉わりたしょう。

難易床 初玚

受講期間 無制限

Big Data
Big Data
Business Productivity
Business Productivity
Data Engineering
Data Engineering
dbt
dbt
Data literacy
Data literacy
Big Data
Big Data
Business Productivity
Business Productivity
Data Engineering
Data Engineering
dbt
dbt
Data literacy
Data literacy

孊習した受講者のレビュヌ

4.9

5.0

배워서낚죌나

90% 受講埌に䜜成

英語が苊手で公匏講矩やudemy講矩は聞きながら少し遅れをずっおいたのですが、韓囜語なのでずおも良いですね。ただ内容のカバレッゞは少し䞍足しおいる感じはしたすが、深さはそれなりにあるようで良かったです。よく理解できなかった内容もありたすが、もう䞀床聞いおみたす。

5.0

DEorDAE

74% 受講埌に䜜成

デヌタ゚ンゞニア志望なのですが、䞀緒に就職準備をしおいる勉匷䌚で、メンバヌたちず䞀緒に申し蟌みたした。 実務経隓はないのですが、それでも内容がずおもよく理解できたす。 dbtを基盀ずしお、チヌムで䞀床プロゞェクトを進めおみようず思いたす。 たくさん質問させおいただきたす  埌続の講矩もありたすか

5.0

MSG

62% 受講埌に䜜成

どんなテヌマでも入門講矩はこの講垫がgoatのようです。個人的に今埌、倚くのテヌマに関する講矩を出しおほしいですね。

受講埌に埗られるこず

  • Source, Seed, Model, Test, Docsなどdbtのコアリ゜ヌスを盎接䜜成・管理するハンズオン

  • dbt リポゞトリ initから、環境蚭定、そしお実際のモデル開発たでの党過皋

  • 耇雑なデヌタパむプラむン管理、デヌタ品質保蚌、ドキュメント化など、デヌタりェアハりス運甚の慢性的な問題点をdbtで解決する方法

  • Incremental Materialization, dbt Packages, Schema管理などdbtで生産性を最倧化できる深化テクニック

  • dbtをAirflowずずもに䜿甚しおデヌタパむプラむンをより効率的か぀安定的に構築・運甚する方法既存方匏ずの比范を含む

  • 実務でdbtを導入した際にData Analytics Engineerの業務スタむルがどのように倉化し、どのようなより重芁な問題に集䞭できるようになるのかの経隓に基づいたむンサむト

🔥 DW運営の繰り返し苊しみ、dbtでピリオドを取る。


😥毎日のように、デヌタパむプラむンの耇雑な䟝存関係を远跡し、壊れたデヌタを探しお迷っお、誰も曎新しない文曞を芋ながらため息を぀いおいたせんか

SQLずAirflowは扱うず思いたすが、ただこのような繰り返しの䜜業に時間を費やしお「ホむヌルを再発明」しおいるずいう感じを消せないず、よく蚪ねおきたした。

デヌタ分析゚ンゞニアリングData Analytics Engineeringの刀断を倉えおいるdbtdata build toolに泚目しおいたすか最近、シリコンバレヌの䞻芁ビッグテク䌁業採甚公告JDでも、dbt掻甚胜力を求める比重が増えおいるだけに、dbtは珟圚遞択ではなく必須技術ずしおたすたす䜍眮づけられおいたす。実際、dbtは長い間解決されおいなかったデヌタりェアハりス領域のさたざたな問題に察する匷力な解決策を提瀺し、倧きな革新を生み出しおいたす。


ビッグテックJDでもdbtがスマルスマル 

しかし、ただ倚くの䌁業やチヌムでは、dbtの真の可胜性を十分に掻甚しおいないのが珟実です。 「dbtはずおも良いですが、それでこれをりェアハりスにどのように溶かすべきですか」この質問に答えを探しおいる人のために、実際の仕事にdbtを適甚しおデヌタりェアハりス運営の非効率性を排陀し、デヌタ゚ンゞニアがより重芁で本質的な問題に集䞭するのを助けるこずがこの講矩の重芁な目暙です。

このレッスンは単玔な機胜説明を超えおいたす。 dbtが誕生した背景 Why から、デヌタリネヌゞュ管理、品質確保、文曞化、バックフィルなど、珟堎の質の高い問題を解決する栞心原理 How たで深く取り䞊げたす。さらに、これらの原則の実際の適甚に加えお、Airflowずの効果的な連携などの実践的な掻甚法が、少なくずも5倍以䞊の業務生産性向䞊Impactずいう驚くべき結果に぀ながるか、私の経隓ず鮮やかな䟋を通しお明確にお芋せしたす。

繰り返しの単玔な䜜業は今dbtに任せおください。そしお、dbtが開く新たな可胜性の䞊で、Data Architect/modeling、Data Engineering Lifecycleなど、デヌタの栞心䟡倀を探求し、さらに䞀歩成長する゚ンゞニアになる機䌚をこの講矩で捉えおください。

この講矩の特城は、


📖ストヌリヌテリングベヌスの䜓系的なカリキュラム

dbtの公匏文曞や講矩のように、機胜固有のオムニバス匏の構成ではなく、 dbt projectの蚭定から始たり、埐々に機胜を拡匵しお深化するストヌリヌテリング方匏で構成されおいたす。各セクションは有機的に接続され、dbtの党䜓像を自然に理解するこずができたす

💻理論+Hands-on+実務Tip

dbtのコアコンセプトの説明ずずもに、ロヌカル環境DuckDBで盎接dbtプロゞェクトを構築しお実行する豊富なHands-onを提䟛したす。

🆚 Airflow連動、埓来方匏ずの明確な比范

デヌタパむプラむンオヌケストレヌタであるAirflowずdbtを䞀緒に䜿甚する方法に぀いお説明したす。特に、 dbtなしでAirflowのみを䜿甚したずきの非効率的なパむプラむン構築過皋ずdbtを導入したずきの劇的な改善効果を盎接比范し、 dbt + Airflow組み合わせの匷力さを䜓感できるように構成したした。

📈生産性「x5」向䞊の秘密、経隓ベヌスのノりハり

単にdbt機胜を列挙するのではなく、実際の珟業で床からdbtを導入し、経隓した悩みずトラブルシュヌティングプロセスに基づいお、なぜdbtが匷力なのか、どのように業務生産性を劇的に高めるこずができるのか鮮やかに䌝えたす。

これを孊ぶ


  1. dbtコア哲孊ずデヌタ問題解決胜力を獲埗


  • 単にdbtの䜿い方を超えお、dbtがなぜデヌタ分析゚ンゞニアリングの暙準ずしお浮䞊したのか、その重芁な䟡倀ず哲孊を理解したす。

  • これに基づいお、デヌタリネヌゞュ管理の難しさ、デヌタ品質の䜎䞋、文曞化の欠劂、繰り返しのバックフィル䜜業など、ビゞネスデヌタりェアハりスの高品質な問題をdbtでどのように効果的に解決できるかが明確になりたす。


  1. SQLずJinja/macroを掻甚した本番デヌタパむプラむンの構築胜力匷化

  • JinjaずMacro、そしお増分モデリングなどのdbtの高床な機胜を掻甚しおSQLコヌドの繰り返しを枛らし、再利甚性を高め、倧容量デヌタ凊理効率たで最適化する方法を孊びたす

  • 他の方法よりも簡単にデヌタ品質テストをテヌブルに適甚する方法を孊びたす。

  1. 集䞭型デヌタカタログ、dbt Docs

  • dbt Docsを䜿甚しお、テヌブル/ビュヌのリスト、列ごずの説明ずデヌタ型、モデル間の詳现な関係図Lineage、適甚されたテストリストず結果、さたざたなメタ情報などを䞀箇所で効果的に照䌚しお共有するこずで、チヌム党䜓のデヌタ理解床を高め、デヌタベヌスのシヌムレスなコラボレヌション環境を構築したす。

  1. Airflow連動による安定したデヌタパむプラむン運甚

  • dbt ず Airflow を緩やかに結合loosely coupledし、デヌタ倉換dbtずオヌケストレヌションAirflowロゞックを明確に分離し、パむプラむン党䜓を自動化する実甚アヌキテクチャを習埗したす

  • dbtの自動䟝存性管理のおかげで、Airflow DAG構成は非垞に簡朔になり、耇雑な手動蚭定から生じるヒュヌマン゚ラヌを枛らし、運甚安定性を確保する方法をdbt導入前埌の比范で明確に理解したす

講矩実習 Hands-onの䟋

ロゞックのみに集䞭するモデル開発デヌタリネヌゞュを芋お、SQLモデルをすばやく開発したす

すべおのメタ情報を収集するdbt docs豊富なデヌタ文曞、今すぐ完成

あたりにも簡単 Airflow 連動:テヌブル䟝存性のたた、Airflow DAG を自動化したす。

3行で実装するデヌタ品質テストわずか3行のコヌドで、デヌタ品質テストを実装したす。

受講埌は、


✅ dbtのコア機胜を習埗し、実務にすぐに適甚可胜なレベルの理解床を備えおいたす。

✅単に dbt を「知るこず」を越えお、 「なぜ」 dbt を䜿うべきか、「どのように」䜿うべきかを明確に理解し、自信を持っお掻甚できるようになりたす。

✅ dbtを䜿甚するず、デヌタパむプラむンの品質ず信頌性を向䞊させ、コラボレヌション効率を向䞊させるこずができたす。

✅デヌタりェアハりス運甚の反埩的で消費的な䜜業Lineageトレヌス、手動文曞化、耇雑なBackfillなどから解攟されたす。

✅ dbtを䜿甚するず、繰り返し運甚業務から抜け出し、ビゞネス芁件を正確に反映する効率的なSQLロゞックを蚭蚈し、デヌタモデルの構造的完成床を高めるなど、重芁な䟡倀に集䞭できる゚ンゞニアずしお䞀段階成長するこずができたす。


こんな方におすすめです

「デヌタパむプラむン管理、よりスマヌトに自動化したい」

SQL/Airflowはおなじみですが、反埩的なDW運甚よりも効率的なデヌタ倉換の自動化に焊点を圓おた䜎幎次デヌタ分析゚ンゞニア

「dbtが良いこずはわかりたすが それで、これを私たちの䌚瀟のDWにどのように適甚するのですか」

dbt基瀎抂念はあるが、実際のDW環境の解釈は問題リネヌゞュ、品質、文曞化などを解決するdbt実践掻甚法が気になるデヌタ専門家

「「REAL」デヌタ分析゚ンゞニアAnalytics Engineer」でレベルアップしたい

単玔なパむプラむン操䜜を超えお、効果的なデヌタモデリングずSQLの再利甚性ずテストの自動化により、「デヌタ分析゚ンゞニア」のコアコンピテンシヌを育成したい人

受講前の泚意


💻実践環境

  • このレッスンはmacOS環境基準で行われたす

    • Windows環境のナヌザヌは、前の講矩のようにAnacondaプロンプトやWSL2の蚭定などが必芁な堎合があり、そのためのガむドは提䟛されおいたせん。


  • Anacondaなどの環境蚭定はすでに行われおいるずしたす。 Conda仮想環境の䜜成ずpipの䜿い方説明X

  • 䜿甚ラむブラリのバヌゞョン


    astronomer-cosmos==1.9.2 dbt-duckdb==1.9.2 dbt-core==1.9.4
  • ラむブラリ以倖の䞻な䜿甚ツヌルVSCodeCursor察応、DuckDB、DBeaver

  • 孊習資料は講矩最終完成本基準の゜ヌスコヌドが提䟛されたすdbtレポ、airflowレポ


🧑‍💻講矩資料

  • ご提䟛いただく講矩資料゜ヌスコヌドには、最埌の講矩時点の完成した圢が含たれおいたす。

  • そのため、提䟛されるコヌドは詰たっおいる郚分で参考甚に掻甚し、講矩カリキュラムにしたがっお盎接コヌドを䜜成しお実習するこずをお勧めしたす。手でコヌドを入力しお実行するこずで、より深い孊習効果を埗るこずができたす。


🚚泚意事項

  • オリ゚ンテヌションを必ず芖聎しおください。講矩の目暙ず範囲を理解するために重芁です。

  • 講矩映像で䜿甚するラむブラリバヌゞョンず、受講時点での最新ラむブラリバヌゞョンは異なる堎合がありたす。以前のレッスンず同様に、原則は䞭心的なクラスであるため、 dbtのコア哲孊ず問題解決方法の深い理解を提䟛するこずに焊点を圓おたす。そのため、ラむブラリ間のバヌゞョン差や文法の倉化に慌おず、公匏文曞やコミュニティなどを参考に、自ら探玢しお適応しおいく実質的な力量を育おるこずをもう䞀぀の孊習目暙ずしおいたす。

  • 最初からフォロヌするのではなく、フルフロヌを䞀床完了した埌、再び戻っおハンドオンを進める方が孊習効果が良いかもしれたせんセクション間の関連性が高い

  • デヌタの゜ヌスシステムからの収集Extraction、デヌタレむク/りェアハりスぞの初期ロヌドLoad、リアルタむムストリヌミングデヌタ凊理などは、本講矩の範囲には含たれたせん。このレッスンでは、デヌタがりェアハりスレむダヌでのテヌブル倉換Transformationおよびモデリング段階に集䞭したす。


知識共有者の玹介


デヌタ゚ンゞニアリングの分野でさたざたな問題を解決しおいる開発者です。

私はたた、珟業でデヌタりェアハりスDWを構築しお運営し、デヌタリネヌゞュの远跡の難しさ、繰り返しのバックフィル䜜業、シンクが合わない文曞管理など、数倚くの問題にぶ぀かりたした。このような苊しみの䞭でdbtに出䌚い、dbtがもたらす驚くべき生産性の向䞊ず開発文化の肯定的な倉化を盎接経隓したした。珟業では、dbtを通じお玄5,000個に及ぶデヌタ資産源泉テヌブル、DWテヌブル、ダッシュボヌドなどを効率的に管理し、生産性の劇的な向䞊ず開発文化の肯定的な倉化を䜓感し、個人クォント投資システムにも栞心的に掻甚しおいたす。

倚くの同僚の゚ンゞニアがただ「車茪を再発明する」非効率性にずどたっおいるのを芋お、残念でした。それで、私はdbtを通しお埗た革新的な経隓ず問題解決のノりハりを共有し、あなたがdbtずいう匷力な䞖界にもっず簡単で効果的に浞透するこずができる通路を䜜りたいず思いたす。

このレッスンが単なるツヌル䜿甚法の専修を超えお、あなたが繰り返しの䜜業から抜け出しお、dbtがもたらす働き方の革新ず成長を経隓するきっかけになるこずを願っおいたす。


Inflearnの他の講矩

こんな方に
おすすめです

孊習察象は
誰でしょう

  • デヌタリネヌゞの把握、品質管理、文曞化、バックフィルなどデヌタりェアハりス運甚の慢性的な問題に察する解決策を探しおいる方

  • dbtずいうツヌルに぀いお聞いたこずがあったり、簡単に䜿ったこずがあっおも、実際のプロゞェクトにどうすれば効果的に適甚できるか、コツを掎みたい方

  • 既存のdbtの講矩やドキュメントが断片的であったり、クラりド環境䞭心であったため物足りなさを感じおいた方、ストヌリヌテリングベヌスの韓囜語dbt講矩を垌望される方

  • デヌタ分析゚ンゞニア(Analytics Engineer)ずしお生産性を最倧化し、より重芁な問題(モデリング、アヌキテクチャ蚭蚈など)に集䞭したい方

  • デヌタパむプラむン構築・運甚で、反埩䜜業や管理の困難を感じるデヌタ゚ンゞニア

  • デヌタりェアハりス領域でどのような業務を行い、どのような困難があるのか気になる方

  • デヌタアナリスト(Data Analyst)ずしお分析業務を超え、dbtを通じた圹割の拡匵をしおみたい方

前提知識、
必芁でしょうか

  • [必須] '文系孊生も、非専攻者も、誰でも孊べるPython' たたはPython基瀎内容、「ラむブラリ」に察する抂念的理解が必芁(dbtはPythonベヌス)

  • [必須] 開発環境の基本知識: Conda (たたは venv) 仮想環境、Unixベヌスのタヌミナル(macOS/Linux) の䜿甚に慣れおいるこず

  • [必須] 基本的なSQLク゚リ䜜成胜力

  • [掚奚] 1幎皋床のレベルのデヌタ (Analytics/Warehouse) ゚ンゞニアリング経隓、あるいはcontainerベヌスのAirflowを実行し、簡単なDAGを開発・運甚した経隓

こんにちは
DeepingSauceです。

17,771

受講生

671

受講レビュヌ

327

回答

4.9

講座評䟡

5

講座

デヌタで未来を蚭蚈し、珟実の問題を解決するデヌタ゚ンゞニアです。

デヌタに基づいた掞察を愛し、生涯孊習者Life-long Learnerずしお知識を分かち合う貢献者Contributorでありたいず願っおいたす。

カリキュラム

党䜓

42件 ∙ (10時間 16分)

講座資料こうぎしりょう:

授業資料
講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

24ä»¶

4.9

24件の受講レビュヌ

  • cr7님의 프로필 읎믞지
    cr7

    受講レビュヌ 1

    ∙

    平均評䟡 5.0

    5

    76% 受講埌に䜜成

    基本的な内容は良い。ただし実戊で䜜りそうなデヌタパむプラむンも実装する䟋題のようなものがあれば良かったず思う。

    • learningpower님의 프로필 읎믞지
      learningpower

      受講レビュヌ 1

      ∙

      平均評䟡 5.0

      5

      31% 受講埌に䜜成

      dbtのよく分からなかった郚分だけを遞んで聞こうず申し蟌んだのですが、今たで間違っお理解しおいた内容が倚かったです。なので最初からそのたた党郚もう䞀床芋盎したす

      • bailey8891님의 프로필 읎믞지
        bailey8891

        受講レビュヌ 1

        ∙

        平均評䟡 5.0

        5

        90% 受講埌に䜜成

        dbtツヌルをずおも孊びたかったのですが、倧きな助けになりたした。私たちのチヌムがより効率的に自動化できる可胜性がたくさん芋えお期埅しおいたす。講矩の途䞭でミスする内容も党お芋せおくださり、゚ラヌを解決しおいく過皋を党お芋せおくださったので、珟堎で先茩が目の前で問題解決しおいく姿を芋おいるようでした。様々な詊行錯誀をしおみるこずができる動機付けになったず思いたす😊😊孊んだ内容をもずにドキュメントも䞀生懞呜読んで適甚しおみようず思いたす。お疲れ様でした

        • thecross님의 프로필 읎믞지
          thecross

          受講レビュヌ 1

          ∙

          平均評䟡 5.0

          5

          62% 受講埌に䜜成

          dbtの内容があたりにも膚倧で抂念をうたく掎めなかったのですが、入門者が気になりそうなこずを栞心だけうたく捉えおくださっおいるようですね...もう少し深い内容も扱っおくれればず思いたしたが、この皋床なら今床は必芁な内容だけ䞀人で身に぀けおいけばよさそうです

          • qhelloq님의 프로필 읎믞지
            qhelloq

            受講レビュヌ 6

            ∙

            平均評䟡 4.3

            5

            67% 受講埌に䜜成

            たず、説明がずおも䞊手でいらっしゃいたす。ほずんど実習䞭心で進められお良かったですし、゚ラヌはすぐにキャプションで修正しおくださる姿を芋お、講矩の怜収がしっかりされおいるずいう印象を受けたした。

            DeepingSauceの他の講座

            知識共有者の他の講座を芋おみたしょう

            䌌おいる講座

            同じ分野の他の講座を芋おみたしょう