Name: dbt、データ分析エンジニアリングの新しい標準
Price: 99000 KRW

dbt、データ分析エンジニアリングの新しい標準

データウェアハウス(DW)の繰り返しのパイプライン管理、これからはdbtでその苦痛の束縛から解放されましょう！ dbtが提供する効率性の上で、ビジネス中心のデータモデリング、効果的なデータライフサイクル管理など、より高い価値を創出するデータ分析エンジニアへと生まれ変わりましょう。

学習した受講者のレビュー

こんなことが学べます

Source, Seed, Model, Test, Docsなどdbtのコアリソースを直接作成・管理するハンズオン
dbt リポジトリ initから、環境設定、そして実際のモデル開発までの全過程
複雑なデータパイプライン管理、データ品質保証、ドキュメント化など、データウェアハウス運用の慢性的な問題点をdbtで解決する方法
Incremental Materialization, dbt Packages, Schema管理などdbtで生産性を最大化できる深化テクニック
dbtをAirflowとともに使用してデータパイプラインをより効率的かつ安定的に構築・運用する方法（既存方式との比較を含む）
実務でdbtを導入した際にData Analytics Engineerの業務スタイルがどのように変化し、どのようなより重要な問題に集中できるようになるのかの経験に基づいたインサイト

🔥 DW運営の繰り返し苦しみ、dbtでピリオドを取る。

😥毎日のように、データパイプラインの複雑な依存関係を追跡し、壊れたデータを探して迷って、誰も更新しない文書を見ながらため息をついていませんか？
SQLとAirflowは扱うと思いますが、まだこのような繰り返しの作業に時間を費やして「ホイールを再発明」しているという感じを消せないと、よく訪ねてきました。

データ分析エンジニアリング（Data Analytics Engineering）の判断を変えているdbt（data build tool）に注目していますか？最近、シリコンバレーの主要ビッグテク企業採用公告（JD）でも、dbt活用能力を求める比重が増えているだけに、dbtは現在選択ではなく必須技術としてますます位置づけられています。実際、dbtは長い間解決されていなかったデータウェアハウス領域のさまざまな問題に対する強力な解決策を提示し、大きな革新を生み出しています。

Screenshot 2025-05-06 at 10.03.46 PM.png

（ビッグテックJDでもdbtがスマルスマル…）

しかし、まだ多くの企業やチームでは、dbtの真の可能性を十分に活用していないのが現実です。 「dbtはとても良いですが、それでこれをウェアハウスにどのように溶かすべきですか？」この質問に答えを探している人のために、実際の仕事にdbtを適用してデータウェアハウス運営の非効率性を排除し、データエンジニアがより重要で本質的な問題に集中するのを助けることがこの講義の重要な目標です。

このレッスンは単純な機能説明を超えています。 dbtが誕生した背景（ Why ）から、データリネージュ管理、品質確保、文書化、バックフィルなど、現場の質の高い問題を解決する核心原理（ How ）まで深く取り上げます。さらに、これらの原則の実際の適用に加えて、Airflowとの効果的な連携などの実践的な活用法が、少なくとも5倍以上の業務生産性向上（Impact）という驚くべき結果につながるか、私の経験と鮮やかな例を通して明確にお見せします。

繰り返しの単純な作業は今dbtに任せてください。そして、dbtが開く新たな可能性の上で、Data Architect/modeling、Data Engineering Lifecycleなど、データの核心価値を探求し、さらに一歩成長するエンジニアになる機会をこの講義で捉えてください。

この講義の特徴は、

📖ストーリーテリングベースの体系的なカリキュラム

dbtの公式文書や講義のように、機能固有のオムニバス式の構成ではなく、 dbt projectの設定から始まり、徐々に機能を拡張して深化するストーリーテリング方式で構成されています。各セクションは有機的に接続され、dbtの全体像を自然に理解することができます

💻理論+Hands-on+実務Tip

dbtのコアコンセプトの説明とともに、ローカル環境（DuckDB）で直接dbtプロジェクトを構築して実行する豊富なHands-onを提供します。

🆚 Airflow連動、従来方式との明確な比較

データパイプラインオーケストレータであるAirflowとdbtを一緒に使用する方法について説明します。特に、 dbtなしでAirflowのみを使用したときの非効率的なパイプライン構築過程とdbtを導入したときの劇的な改善効果を直接比較し、 dbt + Airflow組み合わせの強力さを体感できるように構成しました。

📈生産性「x5」向上の秘密、経験ベースのノウハウ

単にdbt機能を列挙するのではなく、実際の現業で床からdbtを導入し、経験した悩みとトラブルシューティングプロセスに基づいて、なぜdbtが強力なのか、どのように業務生産性を劇的に高めることができるのか鮮やかに伝えます。

dbtコア哲学とデータ問題解決能力を獲得

単にdbtの使い方を超えて、dbtがなぜデータ分析エンジニアリングの標準として浮上したのか、その重要な価値と哲学を理解します。
これに基づいて、データリネージュ管理の難しさ、データ品質の低下、文書化の欠如、繰り返しのバックフィル作業など、ビジネスデータウェアハウスの高品質な問題をdbtでどのように効果的に解決できるかが明確になります。

Airflow連動による安定したデータパイプライン運用

dbt と Airflow を緩やかに結合（loosely coupled）し、データ変換（dbt）とオーケストレーション（Airflow）ロジックを明確に分離し、パイプライン全体を自動化する実用アーキテクチャを習得します
dbtの自動依存性管理のおかげで、Airflow DAG構成は非常に簡潔になり、複雑な手動設定から生じるヒューマンエラーを減らし、運用安定性を確保する方法をdbt導入前後の比較で明確に理解します

受講後は、

✅ dbtのコア機能を習得し、実務にすぐに適用可能なレベルの理解度を備えています。

✅単に dbt を「知ること」を越えて、 「なぜ」 dbt を使うべきか、「どのように」使うべきかを明確に理解し、自信を持って活用できるようになります。

✅ dbtを使用すると、データパイプラインの品質と信頼性を向上させ、コラボレーション効率を向上させることができます。

✅データウェアハウス運用の反復的で消費的な作業（Lineageトレース、手動文書化、複雑なBackfillなど）から解放されます。

✅ dbtを使用すると、繰り返し運用業務から抜け出し、ビジネス要件を正確に反映する効率的なSQLロジックを設計し、データモデルの構造的完成度を高めるなど、重要な価値に集中できるエンジニアとして一段階成長することができます。

受講前の注意

💻実践環境

このレッスンはmacOS環境基準で行われます
- Windows環境のユーザーは、（前の講義のように）AnacondaプロンプトやWSL2の設定などが必要な場合があり、そのためのガイドは提供されていません。
Anacondaなどの環境設定はすでに行われているとします。（Conda仮想環境の作成とpipの使い方説明X）

使用ライブラリのバージョン

 astronomer-cosmos==1.9.2
dbt-duckdb==1.9.2
dbt-core==1.9.4

ライブラリ以外の主な使用ツール：VSCode（Cursor対応）、DuckDB、DBeaver
学習資料は講義最終完成本基準のソースコードが提供されます（dbtレポ、airflowレポ）

`🧑‍💻講義資料`

ご提供いただく講義資料（ソースコード）には、最後の講義時点の完成した形が含まれています。
そのため、提供されるコードは詰まっている部分で参考用に活用し、講義カリキュラムにしたがって直接コードを作成して実習することをお勧めします。手でコードを入力して実行することで、より深い学習効果を得ることができます。

`🚨注意事項`

オリエンテーションを必ず視聴してください。講義の目標と範囲を理解するために重要です。
講義映像で使用するライブラリバージョンと、受講時点での最新ライブラリバージョンは異なる場合があります。以前のレッスンと同様に、原則は中心的なクラスであるため、 dbtのコア哲学と問題解決方法の深い理解を提供することに焦点を当てます。そのため、ライブラリ間のバージョン差や文法の変化に慌てず、公式文書やコミュニティなどを参考に、自ら探索して適応していく実質的な力量を育てることをもう一つの学習目標としています。
最初からフォローするのではなく、フルフローを一度完了した後、再び戻ってハンドオンを進める方が学習効果が良いかもしれません（セクション間の関連性が高い）
データのソースシステムからの収集（Extraction）、データレイク/ウェアハウスへの初期ロード（Load）、リアルタイムストリーミングデータ処理などは、本講義の範囲には含まれません。このレッスンでは、データがウェアハウスレイヤーでのテーブル変換（Transformation）およびモデリング段階に集中します。

`知識共有者の紹介`

データエンジニアリングの分野でさまざまな問題を解決している開発者です。

私はまた、現業でデータウェアハウス（DW）を構築して運営し、データリネージュの追跡の難しさ、繰り返しのバックフィル作業、シンクが合わない文書管理など、数多くの問題にぶつかりました。このような苦しみの中でdbtに出会い、dbtがもたらす驚くべき生産性の向上と開発文化の肯定的な変化を直接経験しました。現業では、dbtを通じて約5,000個に及ぶデータ資産（源泉テーブル、DWテーブル、ダッシュボードなど）を効率的に管理し、生産性の劇的な向上と開発文化の肯定的な変化を体感し、個人クォント投資システムにも核心的に活用しています。

多くの同僚のエンジニアがまだ「車輪を再発明する」非効率性にとどまっているのを見て、残念でした。それで、私はdbtを通して得た革新的な経験と問題解決のノウハウを共有し、あなたがdbtという強力な世界にもっと簡単で効果的に浸透することができる通路を作りたいと思います。

このレッスンが単なるツール使用法の専修を超えて、あなたが繰り返しの作業から抜け出して、dbtがもたらす働き方の革新と成長を経験するきっかけになることを願っています。

Inflearnの他の講義：

`こんな方におすすめです`

学習対象は誰でしょう？

データリネージの把握、品質管理、文書化、バックフィルなどデータウェアハウス運用の慢性的な問題に対する解決策を探している方
dbtというツールについて聞いたことがあったり、簡単に使ったことがあっても、実際のプロジェクトにどうすれば効果的に適用できるか、コツを掴みたい方
既存のdbtの講義やドキュメントが断片的であったり、クラウド環境中心であったため物足りなさを感じていた方、ストーリーテリングベースの韓国語dbt講義を希望される方
データ分析エンジニア(Analytics Engineer)として生産性を最大化し、より重要な問題(モデリング、アーキテクチャ設計など)に集中したい方
データパイプライン構築・運用で、反復作業や管理の困難を感じるデータエンジニア
データウェアハウス領域でどのような業務を行い、どのような困難があるのか気になる方
データアナリスト(Data Analyst)として分析業務を超え、dbtを通じた役割の拡張をしてみたい方

前提知識、必要でしょうか？

[必須] '文系学生も、非専攻者も、誰でも学べるPython' またはPython基礎内容、「ライブラリ」に対する概念的理解が必要(dbtはPythonベース)
[必須] 開発環境の基本知識: Conda (または venv) 仮想環境、Unixベースのターミナル(macOS/Linux) の使用に慣れていること
[必須] 基本的なSQLクエリ作成能力
[推奨] 1年程度のレベルのデータ (Analytics/Warehouse) エンジニアリング経験、あるいはcontainerベースのAirflowを実行し、簡単なDAGを開発・運用した経験

`こんにちはです。`

16,141

受講生

577

受講レビュー

326

回答

4.8

講座評価

5

講座

데이터로 미래를 설계하고 현실의 문제를 해결하는 데이터 엔지니어입니다.

데이터 기반 통찰을 사랑하며, 평생 학습(Life-long Learner)하고 지식을 나누는 기여자(Contributor)가 되고자 합니다

`カリキュラム`

全体

42件 ∙ (10時間 16分)

講座資料（こうぎしりょう）:

授業資料


1. 授業紹介および目標
06:46
2. カリキュラム
02:57
3. FAQ
06:56
4. 受講前の注意事項
06:53


5. データ分析エンジニアのコアな役割と日々抱える問題13:55


6. dbt 紹介13:24
7. dbt 主要概念19:01


8. 授業資料ダウンロード
9. 環境設定15:48
10. データ説明13:38
11. duckdb 使い方10:19
12. dbt プロジェクト init14:16
13. 外部データ ロードする (dbt seed)13:12
14. 外部データ登録 (dbt source)06:01
15. モデル作成(dbt compile & run) part126:49
16. モデル作成(dbt compile & run) part219:03
17. ドキュメント作成 (dbt docs generate)15:18
18. データ品質チェック (dbt test) - 概念12:19
19. データ Quality チェック (dbt test) - generic16:11
20. データクオリティのチェック(dbt test) - singular13:50
21. データ config 設定11:57
22. jinja/マクロ22:47


23. データ バックフィル14:54
24. dbt パッケージ21:43
25. スキーマ カスタマイズ14:43
26. インクリメンタル マテリアライゼーション - 概念21:14
27. 増分マテリアライズ - duckdb06:44
28. インクリメンタル・マテリアライゼーション - デザイン134:01
29. 増分マテリアライゼーション - design220:25
30. データ鮮度テスト12:43
31. 露出12:02
32. vscode extension15:23


33. dbt + Airflow を使用する際に考慮すべき事項19:43
34. 環境設定 - パート121:46
35. 環境設定 - part206:51
36. dbt なしの airflow データパイプライン :(12:46
37. dbt + airflow データパイプライン :) - cosmos lib part108:48
38. dbt + airflow データパイプライン :) - cosmos lib part218:50
39. dbt + airflow データパイプライン :) - dag run part119:59
40. dbt + airflow データパイプライン :) - dag run part215:26
41. dbt + airflow データ パイプライン :) - ヒント24:39


42. Summary & Wrap-up12:21

講座掲載日:

最終更新日:

`受講レビュー`

全体

12件

4.9

12件の受講レビュー

pcy78059442受講レビュー 1 ∙ 平均評価 5.0
5
100% 受講後に作成
cr7受講レビュー 1 ∙ 平均評価 5.0
5
76% 受講後に作成
Nội dung cơ bản thì tốt. Tuy nhiên sẽ hay hơn nếu có ví dụ triển khai data pipeline giống như những gì có thể tạo ra trong thực tế.
myprofilelove受講レビュー 1 ∙ 平均評価 4.0
4
52% 受講後に作成
Tuyệt vời~
learningpower受講レビュー 1 ∙ 平均評価 5.0
5
31% 受講後に作成
Tôi đăng ký để nghe chỉ những phần không biết rõ về dbt, nhưng có nhiều nội dung tôi hiểu sai từ trước đến nay. Vì vậy tôi sẽ xem lại từ đầu theo thứ tự.
alex2024受講レビュー 3 ∙ 平均評価 5.0
5
90% 受講後に作成
Tiếng Anh yếu nên khi nghe các bài giảng chính thức hay các khóa học udemy thì hơi lúng túng, nhưng vì là tiếng Hàn nên rất tốt. Tuy nhiên độ bao phủ nội dung có vẻ hơi thiếu nhưng độ sâu thì vẫn khá ổn nên tốt. Có một số nội dung chưa hiểu rõ lắm nên tôi sẽ nghe lại.

Bất cứ ai cũng có thể học Python, kể cả sinh viên nghệ thuật tự do và những người không chuyên!

rightx2

Lớp đầu tiên trong chương trình giảng dạy, “Python mà bất cứ ai cũng có thể học,” là khóa học lập trình cơ bản dành cho những người chưa có kinh nghiệm lập trình/viết mã. Trong lớp học này, dựa trên nhiều lớp học được dạy cho những người không chuyên và các kinh nghiệm liên quan, 'câu chuyện&#x27 và bắt đầu với cấu trúc của một máy tính, cách các chương trình hoạt động và vai trò của ngôn ngữ lập trình trong quá trình này Bằng cách tập trung vào #x27;nguyên tắc, chúng tôi giúp người mới bắt đầu làm quen với khái niệm lập trình chưa quen thuộc. Ngoài ra, rào cản trong việc làm quen với lập trình đã được hạ thấp hơn nữa bằng cách áp dụng ngôn ngữ có tên Python, ngôn ngữ này gần đây đã phát triển với tốc độ chóng mặt và trong việc giải thích các yếu tố ngữ pháp của ngôn ngữ, 'Cái gì' Thay vào đó, nó tập trung vào `x27;Tại sao' và 'Như thế nào', tập trung vào các ví dụ và cách sử dụng thực tế thay vì các bài học ghi nhớ ngữ pháp đơn giản. Dựa trên các phương pháp học không chính xác thường được người mới bắt đầu sử dụng, chúng tôi cũng cung cấp các mẹo về cách bạn nên xem và học lập trình trong tương lai, cũng như những thử nghiệm và sai sót gặp phải khi tự học lập trình trước đây và lãng phí thời gian và học ngoại tuyến , cũng như nhiều năm tham gia các lớp học ngoại tuyến, dựa trên kinh nghiệm có được khi làm việc với Python, nó sẽ giúp ích rất nhiều cho những ai đang do dự khi bắt đầu với Python, vì nó tập trung vào những phần mà người mới bắt đầu gặp khó khăn và họ nên làm như thế nào. được chuyển tải.