Inflearn brand logo image
Inflearn brand logo image

N

Inflearn brand logo image
Data Science

/

Data Engineering

シリコンバレーのデータリーダーが教えるAirflowの基礎

AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

（5.0）受講レビュー 5件

受講生 136名

  • keeyonghan9539
실습 중심
데이터파이프라인
실리콘밸리
airflow
snowflake
SQL
Python

こんなことが学べます

  • AIrflow+Snowflake+Docker基盤のデータパイプライン構築

  • データ実務で今すぐ活用できる実践的なSQLとPythonスキル

シリコンバレーデータエンジニアが教える
最新のデータパイプラインを構築！

✅
シリコンバレー30年目のデータエンジニアが伝える実務ノウハウ

✅
評価4.9！サンノゼ州立大学データサイエンス専攻生が絶賛した講義

✅
Airflow&Snowflakeを活用した最新のデータパイプラインの設計と自動化

AirflowとSnowflakeで会う
現代データエンジニアリングアーキテクチャ

データが膨大な時代、データエンジニアリングの核心は、データを効率的に収集して加工し、必要な時点に提供することです。これには自動化されたデータパイプラインが不可欠であり、 AirflowとSnowflakeはこのプロセスで強力なツールとして機能します。


Airflowは、柔軟なスケジューリングとタスク管理により、複雑なデータフローを自動化し、正確で信頼性の高いデータ収集を可能にします。 Snowflakeはクラウドベースの強力なデータウェアハウスで、大量のデータを迅速に処理および拡張できるため、さまざまなビジネス環境で信頼性の高いデータ運用をサポートします。

このレッスンでは、Airflowのワークフロー自動化機能とSnowflakeのスケーラビリティとパフォーマンスを組み合わせて、効率的なデータパイプラインを設計および運用する方法を学びます。複雑なインフラストラクチャを設定せずに、データ収集から処理、保存、活用まで、単一のフローにつながるデータエンジニアリングの重要な技術を学ぶことができます。

このようなことを学びます。

1⃣ Airflow + Snowflake + Dockerで実戦データパイプライン設計

2⃣ Airflow環境設定からETL、DAG管理、自動化まで一度に習得

3⃣本番の例でデータフローを最適化し、運用ノウハウを身につける

こんな方におすすめです

データエンジニアとして
キャリアについて考えています。
データエンジニアになりたいのですが、何をすべきかわからない開発者/アナリスト/科学者/学生

データパイプラインの作成に興味があります。
データ関連の作業中にデータパイプラインに関連する作業を行う必要がある場合、またはこの方法がわからない場合

データエンジニアリングについて
もっと知りたいです。
データエンジニアやMLエンジニアなどで仕事をしていますが、もっと詳しく知りたい人

受講後は

  • データ組織のミッションとデータエンジニアリングの役割が何であるかを知ることができます。


  • データインフラストラクチャを構成するデータウェアハウスとデータパイプラインについて学びます。

    • このプロセスでは、Snowflakeというデータウェアハウスをあなたのスキルセットに追加できます。

    • データパイプラインを作成、運用する際に役立つベストプラクティスについて学びます。

  • データパイプラインの作成/運用フレームワークで、最も人気のあるAirflowに基づいてさまざまなデータパイプラインを作成できます。

    • フルアップデート、増分アップデート、バックフィル、モニタリングなどの高度な概念も熟知しています。

  • PythonとSQLがどのような形でデータパイプラインを作成するために使用されるのか、実践的な経験を通じてデータを扱う人としての能力が高まります。

シリコンバレーで検証されたデータ専門家の洞察

こんにちは。 30年目のシリコンバレーデータ専門家の一機用です。サムスン電子で初めてキャリアを始めた後、31歳の時にシリコンバレーに出発しました。ユデミー（2021年ナスダック上場）、ポリボア（2015年ヤフー買収）などの組織でデータチームをビルドし、多様なシリコンバレーや韓国素材企業向けにデータ諮問を行い、積み重ねたノウハウとシリコンバレー就職率1位を誇るサンノゼ州立大学で修士課程の学生を共有します。

受講前の注意

練習環境

  • Dockerに基づいてAirflowを実行します。講義内でDockerについて紹介し、インストールプロセスも説明します。

  • データウェアハウスとしては、Snowflakeの無料試用版を使用しています。 30日間または400ドルのクレジットの中で無料で利用できます。クレジットカードの入力は不要です。

  • データパイプラインコーディングの導入にGoogle Colabを使用します。

選手の知識と注意事項

  • 基本的なPython文法（初級）


  • 基本的なSQL知識(初級)

  • 一生懸命従うという意志

こんな方に
おすすめです

学習対象は
誰でしょう？

  • データエンジニアとして働いている、または働きたい人

  • データ関連のパイプラインの仕事をしている、またはしたいと思っている人

  • データ関連業務/プロジェクトに興味がある人

前提知識、
必要でしょうか？

  • Python (初級)

  • SQL (初級)

こんにちは
です。

851

受講生

49

受講レビュー

30

回答

4.9

講座評価

5

講座

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

  • 야후: 엔지니어링 디렉터로 검색엔진 개발.

  • 유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장

  • 삼성전자

  • ...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

カリキュラム

全体

68件 ∙ (11時間 58分)

講座資料（こうぎしりょう）:

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

5件

5.0

5件の受講レビュー

  • horongt님의 프로필 이미지
    horongt

    受講レビュー 1

    ∙

    平均評価 5.0

    5

    100% 受講後に作成

    ついに完走しました！！ 技術的にも多くのことを得ることができましたが、講師の方が時間をかけて説明してくださるデータエンジニアリングの全般的な概念が本当に有益でした。（セクション2の内容、データエンジニアリングの未来）これを通じて、パイプラインをどのように設計し、どんな技術スタックを選択すべきかについて大きなインサイトを得ることができました。また、講義の合間にデータエンジニアがすべき悩みについて言及されるのですが、そのような話が私は好きでした。 また、講義自体が実務的なチップと理論的な部分をバランスよく学べるように作られており、知っておくべきことはきちんと教えてくださり、残りは勉強する人に任せるような部分が良いと思いました。 良い講義をありがとうございます！！

    • keeyonghan9539
      知識共有者

      温かい受講レビューありがとうございます。私が作成したデータ分析/活用という観点で作ったSQL講座もございます。4月初めまでにはSpark関連の講座も公開する予定ですので、そちらも後で一度ご確認ください。

    • horongt

      はい！！Sparkの講義を待っている間、SQLの講義を聞いていればいいんですね！

  • dataarchitect0님의 프로필 이미지
    dataarchitect0

    受講レビュー 6

    ∙

    平均評価 4.2

    5

    100% 受講後に作成

    • emfoa230542님의 프로필 이미지
      emfoa230542

      受講レビュー 5

      ∙

      平均評価 5.0

      5

      60% 受講後に作成

      • mscsy01049265님의 프로필 이미지
        mscsy01049265

        受講レビュー 2

        ∙

        平均評価 4.5

        5

        33% 受講後に作成

        • pst54016539님의 프로필 이미지
          pst54016539

          受講レビュー 1

          ∙

          平均評価 5.0

          5

          31% 受講後に作成

          ￥15,658

          keeyonghan9539の他の講座

          知識共有者の他の講座を見てみましょう！

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）강의 썸네일

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）

          keeyonghan9539

          ビッグデータを処理するというのは、Pandasでデータを処理することと何が違うのでしょうか？ビッグデータ処理の必須フレームワークであるSparkについて学んでみましょうか？

          초급

          초급

          Apache Spark, pyspark, Pandas

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）강의 썸네일

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）

          keeyonghan9539

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

          초급

          초급

          SQL, Data literacy, Data Engineering

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          似ている講座

          同じ分野の他の講座を見てみましょう！

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）강의 썸네일

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）

          keeyonghan9539

          ビッグデータを処理するというのは、Pandasでデータを処理することと何が違うのでしょうか？ビッグデータ処理の必須フレームワークであるSparkについて学んでみましょうか？

          초급

          초급

          Apache Spark, pyspark, Pandas

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）강의 썸네일

          シリコンバレーのリーダーが教えるビッグデータ処理（Spark）

          keeyonghan9539

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

          초급

          초급

          SQL, Data literacy, Data Engineering

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          Apache Airflow を使用したシリコンバレーのエンジニア강의 썸네일

          Apache Airflow を使用したシリコンバレーのエンジニア

          altoformula

          ソフトウェア データ パイプラインを作成する際に最もよく使用されるオーケストレーターである Apache Airflow を学習できます。

          초급

          초급

          airflow, Big Data, Data Engineering

          Apache Airflow を使用したシリコンバレーのエンジニア강의 썸네일

          Apache Airflow を使用したシリコンバレーのエンジニア

          altoformula

          [データ前処理] 心配しないで！Pandasがあるから。강의 썸네일

          [データ前処理] 心配しないで！Pandasがあるから。

          aonekoda

          データはあるけど、これをどうPythonで読み込んで処理すればいいか途方に暮れていますか？心配しないでください。Pandasの魔法で処理できます。Pandasは最も強力で、効率的で、有用なデータ処理ライブラリです。 Pandasでデータ前処理スキルアップ！インサイトたっぷり！

          초급

          초급

          Python, Pandas, Data Engineering

          [データ前処理] 心配しないで！Pandasがあるから。강의 썸네일

          [データ前処理] 心配しないで！Pandasがあるから。

          aonekoda

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説강의 썸네일

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説

          datacodelab

          勉強はしたが問題を解けないあなたへのSQLD ノレンイ 176問題解説講座。 完講後、合格を超え専門家になります。 SQLD オールインワンパス！

          초급

          초급

          SQL, SQLD, Big Data

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説강의 썸네일

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説

          datacodelab

          [リニューアル] 初めてのMongoDB(モンゴDB) と NoSQL(ビッグデータ) データベース ブートキャンプ [入門から活用まで] (アップデート)강의 썸네일

          [リニューアル] 初めてのMongoDB(モンゴDB) と NoSQL(ビッグデータ) データベース ブートキャンプ [入門から活用まで] (アップデート)

          funcoding

          最新のスタートアップで活用されるフルスタックとデータサイエンス技術の基本技術の一つであるビッグデータを扱うことができるNoSQL技術を習得します。MongoDBはNoSQLの中でも最も簡単で迅速に活用できる技術です。本講座では短時間でMongoDBの基礎を習得し、PythonでMongoDBを操作し活用できる技術まで学習します。

          초급

          초급

          Python, MongoDB, DBMS/RDBMS

          [リニューアル] 初めてのMongoDB(モンゴDB) と NoSQL(ビッグデータ) データベース ブートキャンプ [入門から活用まで] (アップデート)강의 썸네일

          [リニューアル] 初めてのMongoDB(モンゴDB) と NoSQL(ビッグデータ) データベース ブートキャンプ [入門から活用まで] (アップデート)

          funcoding

          AI時代 スマートなSQL学習法 [入門]강의 썸네일

          AI時代 スマートなSQL学習法 [入門]

          tani

          私は苦労して学びましたが、皆さんは簡単に学んでください 不要な理論は捨てて、SQLの核心だけを込めました。 SQLの自信を素早く完成させてください。

          입문

          입문

          SQL, MySQL, DBMS/RDBMS

          AI時代 スマートなSQL学習法 [入門]강의 썸네일

          AI時代 スマートなSQL学習法 [入門]

          tani

          データ入門者のためのAzureデータ基礎完全攻略강의 썸네일

          データ入門者のためのAzureデータ基礎完全攻略

          daniellee

          Microsoft AZ-900資格を同時に目指し、理論的土台を築く特講であり、2025年5月基準の出題範囲を反映した最新コンテンツとして、コアデータ概念、Azureのリレーショナルデータ、Azureの非リレーショナルデータ、Azureの分析ワークロード関連内容を、理論と実習を兼ねた形で提供することで、資格取得はもちろん、データ専門家への第一歩を踏み出す有意義な教育機会として活用可能です。

          입문

          입문

          SQL, Big Data, Data Engineering

          データ入門者のためのAzureデータ基礎完全攻略강의 썸네일

          データ入門者のためのAzureデータ基礎完全攻略

          daniellee

          データ分析 SQL Fundamentals강의 썸네일

          データ分析 SQL Fundamentals

          dooleyz3525

          SQL の基本要素に関する詳細な講義と実習を通じて、揺るぎない骨組みを作り、SQL 分析の専門家として成長できるようにサポートします。

          초급

          초급

          SQL, PostgreSQL, DBMS/RDBMS

          データ分析 SQL Fundamentals강의 썸네일

          データ分析 SQL Fundamentals

          dooleyz3525