강의

멘토링

커뮤니티

BEST
Data Science

/

Data Engineering

シリコンバレーのデータリーダーが教えるAirflowの基礎

AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家(元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授)から直接学んでみましょう。

難易度 初級

受講期間 無制限

  • keeyonghan
airflow
airflow
snowflake
snowflake
SQL
SQL
Python
Python
airflow
airflow
snowflake
snowflake
SQL
SQL
Python
Python

受講後に得られること

  • AIrflow+Snowflake+Docker基盤のデータパイプライン構築

  • データ実務で今すぐ活用できる実践的なSQLとPythonスキル

シリコンバレーデータエンジニアが教える
最新のデータパイプラインを構築!


シリコンバレー30年目のデータエンジニアが伝える実務ノウハウ


評価4.9!サンノゼ州立大学データサイエンス専攻生が絶賛した講義


Airflow&Snowflakeを活用した最新のデータパイプラインの設計と自動化

AirflowSnowflakeで会う
現代データエンジニアリングアーキテクチャ

データが膨大な時代、データエンジニアリングの核心は、データを効率的に収集して加工し、必要な時点に提供することです。これには自動化されたデータパイプラインが不可欠であり、 AirflowとSnowflakeはこのプロセスで強力なツールとして機能します。


Airflowは、柔軟なスケジューリングとタスク管理により、複雑なデータフローを自動化し、正確で信頼性の高いデータ収集を可能にします。 Snowflakeはクラウドベースの強力なデータウェアハウスで、大量のデータを迅速に処理および拡張できるため、さまざまなビジネス環境で信頼性の高いデータ運用をサポートします。

このレッスンでは、Airflowのワークフロー自動化機能Snowflakeのスケーラビリティとパフォーマンスを組み合わせて、効率的なデータパイプラインを設計および運用する方法を学びます。複雑なインフラストラクチャを設定せずに、データ収集から処理、保存、活用まで、単一のフローにつながるデータエンジニアリングの重要な技術を学ぶことができます。

このようなことを学びます。

1⃣ Airflow + Snowflake + Dockerで実戦データパイプライン設計

2⃣ Airflow環境設定からETL、DAG管理、自動化まで一度に習得

3⃣本番の例でデータフローを最適化し、運用ノウハウを身につける

こんな方におすすめです

データエンジニアとして
キャリアについて考えています。
データエンジニアになりたいのですが、何をすべきかわからない開発者/アナリスト/科学者/学生

データパイプラインの作成に興味があります。
データ関連の作業中にデータパイプラインに関連する作業を行う必要がある場合、またはこの方法がわからない場合

データエンジニアリングについて
もっと知りたいです。
データエンジニアやMLエンジニアなどで仕事をしていますが、もっと詳しく知りたい人

受講後は

  • データ組織のミッションとデータエンジニアリングの役割が何であるかを知ることができます。


  • データインフラストラクチャを構成するデータウェアハウスとデータパイプラインについて学びます。

    • このプロセスでは、Snowflakeというデータウェアハウスをあなたのスキルセットに追加できます。

    • データパイプラインを作成、運用する際に役立つベストプラクティスについて学びます。

  • データパイプラインの作成/運用フレームワークで、最も人気のあるAirflowに基づいてさまざまなデータパイプラインを作成できます。

    • フルアップデート、増分アップデート、バックフィル、モニタリングなどの高度な概念も熟知しています。

  • PythonとSQLがどのような形でデータパイプラインを作成するために使用されるのか、実践的な経験を通じてデータを扱う人としての能力が高まります。

シリコンバレーで検証されたデータ専門家の洞察

こんにちは。 30年目のシリコンバレーデータ専門家の一機用です。サムスン電子で初めてキャリアを始めた後、31歳の時にシリコンバレーに出発しました。ユデミー(2021年ナスダック上場)、ポリボア(2015年ヤフー買収)などの組織でデータチームをビルドし、多様なシリコンバレーや韓国素材企業向けにデータ諮問を行い、積み重ねたノウハウとシリコンバレー就職率1位を誇るサンノゼ州立大学で修士課程の学生を共有します。

受講前の注意

練習環境

  • Dockerに基づいてAirflowを実行します。講義内でDockerについて紹介し、インストールプロセスも説明します。

  • データウェアハウスとしては、Snowflakeの無料試用版を使用しています。 30日間または400ドルのクレジットの中で無料で利用できます。クレジットカードの入力は不要です。

  • データパイプラインコーディングの導入にGoogle Colabを使用します。

選手の知識と注意事項

  • 基本的なPython文法(初級)


  • 基本的なSQL知識(初級)

  • 一生懸命従うという意志

こんな方に
おすすめです

学習対象は
誰でしょう?

  • データエンジニアとして働いている、または働きたい人

  • データ関連のパイプラインの仕事をしている、またはしたいと思っている人

  • データ関連業務/プロジェクトに興味がある人

前提知識、
必要でしょうか?

  • Python (初級)

  • SQL (初級)

こんにちは
です。

1,064

受講生

69

受講レビュー

41

回答

4.9

講座評価

5

講座

コンピューター工学の修士課程修了後、サムスン電子で始まったキャリアが友人の勧めでシリコンバレーへと繋がり、過去29年間で13社の様々なステージの企業(起業、大企業、多数のスタートアップ)を渡り歩いてきました。

  • Yahoo: エンジニアリングディレクターとして検索エンジンを開発。

  • Udemy。データチームをゼロから立ち上げ30名規模まで成長させ、2021年10月にナス닥(Nasdaq)上場。

  • サムスン電子

  • ...

途中で11ヶ月間休んでみたり、図らずもエンジェル投資家(Chartmetric、Goodtime.io、Select Star、EO、Business Canvasなど)、アドバイザー(Moloco、Blind、Wolgeupjaengi Bujadeulなど)、コンサルティング(SKテレコム、現代カード、Eマートなど)などの役割を担いながら、自分自身のブランドを築いてきました。失敗を失敗ではなく教訓として捉えるポジティブな力と、継続という複利の力を信じています。

https://www.linkedin.com/in/keeyonghan/

YouTubeチャンネル

月給取りの金持ちたち(ウォルグッジェンイ・プジャドゥル)の講義

カリキュラム

全体

68件 ∙ (12時間 4分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

13件

4.9

13件の受講レビュー

  • horongt님의 프로필 이미지
    horongt

    受講レビュー 1

    平均評価 5.0

    5

    100% 受講後に作成

    ついに完走しました!! 技術的にも多くのことを得ることができましたが、講師の方が時間をかけて説明してくださるデータエンジニアリングの全般的な概念が本当に有益でした。(セクション2の内容、データエンジニアリングの未来)これを通じて、パイプラインをどのように設計し、どんな技術スタックを選択すべきかについて大きなインサイトを得ることができました。また、講義の合間にデータエンジニアがすべき悩みについて言及されるのですが、そのような話が私は好きでした。 また、講義自体が実務的なチップと理論的な部分をバランスよく学べるように作られており、知っておくべきことはきちんと教えてくださり、残りは勉強する人に任せるような部分が良いと思いました。 良い講義をありがとうございます!!

    • keeyonghan
      知識共有者

      温かい受講レビューありがとうございます。私が作成したデータ分析/活用という観点で作ったSQL講座もございます。4月初めまでにはSpark関連の講座も公開する予定ですので、そちらも後で一度ご確認ください。

    • はい!!Sparkの講義を待っている間、SQLの講義を聞いていればいいんですね!

  • s00park님의 프로필 이미지
    s00park

    受講レビュー 3

    平均評価 5.0

    5

    100% 受講後に作成

    • slavefactory님의 프로필 이미지
      slavefactory

      受講レビュー 8

      平均評価 5.0

      5

      53% 受講後に作成

      • msson7577님의 프로필 이미지
        msson7577

        受講レビュー 1

        平均評価 5.0

        5

        100% 受講後に作成

        いいですね

        • paulmoon008308님의 프로필 이미지
          paulmoon008308

          受講レビュー 111

          平均評価 4.9

          5

          7% 受講後に作成

          ¥16,215

          keeyonghanの他の講座

          知識共有者の他の講座を見てみましょう!

          似ている講座

          同じ分野の他の講座を見てみましょう!