강의

멘토링

로드맵

Inflearn brand logo image
BEST
Data Science

/

Data Engineering

Apache Airflow を使用したシリコンバレーのエンジニア

ソフトウェア データ パイプラインを作成する際に最もよく使用されるオーケストレーターである Apache Airflow を学習できます。

  • altoformula
3시간 만에 완강할 수 있는 강의 ⏰
빅데이터
데이터 엔지니어링
apache-airflow
docker
airflow
Big Data
Data Engineering
Python

学習した受講者のレビュー

こんなことが学べます

  • データ パイプラインの構築

  • Apache Airflow(アパッチ エアーフロー)

  • Apache Spark(アパッチ スパーク)の紹介

  • MinIO の紹介

  • TaskFlow API

  • Slack 統合

データパイプライン必須ツール、Airflow
シリコンバレーの開発者に学びましょう!

モダンなデータワークフロー管理、
Apache Airflowで📌

ビジネスで最もよく使われるワークフロー管理ツール:Apache Airflow

Airflow(エアフロー)の簡単な設定と使い方を学びましょう。

複雑な概念は、バック、Airflowの魅力的な世界に!

データ分析と処理タスクが複雑になり、タスクのスケジューリング、依存性管理、エラー処理などの問題がより重要になってきています。

この講義は、初めてAirflowに触れる皆さんのためにあらかじめ用意した講義です。

なぜApache Airflowを学ぶべきですか?

自動化されたワークフロー管理

Airflowは、時間をかけて自動的にタスクを実行および管理するための強力なスケジューリング機能を提供します。

依存性管理

複雑なデータワークフローでは、ジョブ間の依存関係を正確に管理する必要があります。

強力な監視と通知

タスクの実行中に、Airflowダッシュボードを使用してタスクの進行状況を監視できます。

拡張性と柔軟性

Airflowはさまざまなプラグインとライブラリをサポートし、さまざまなデータストア、タスク実行環境、および通知メカニズムと統合できます。

コミュニティとエコシステム

Airflowには活発なコミュニティと豊富なエコシステムがあり、問題解決に役立つ素晴らしいリソースがたくさんあります。


講義の特徴✨

✅難しい概念なしで簡単に!

実際のAirflowの使用過程に従い、簡単なデータワークフローを作ってみる実習中心講義!

講義中に気になったり理解していない部分がある場合は、いつでも質問してください。


学習内容📚

  • すべての講義資料は英語で行われています。
  • PDF講義資料とGithubコードを提供します。
クラウドソフトウェアアーキテクチャ Overview
データパイプラインオーケストレーターの紹介
Apache Airflowの紹介
Apache Airflowの重要なコンポーネントの紹介
各コンポーネントの詳細について
コードの詳細な分析

現職シリコンバレーエンジニアのノウハウをそのままお届けします!

私はYouTubeの「 ミックックエンジニア」とブランチ「 シリコンバレーのニュースと生活」を運営する現職のソフトウェアエンジニアです。やっています。


このような人がいるなら
今すぐ始めましょう。

💡

データエンジニア

データワークフローを自動化してスケジューリングして、データの品質と一貫性を維持します。

💡

データアナリスト

定期的なデータ更新やモデルの再学習作業などを処理してみてください。

💡

データ科学者

モデルのトレーニング、評価、配置予測などを自動化し、データサイエンスプロセスを効率的に管理します。

💡

システム管理者

ジョブの実行に対する透明性と信頼性を向上させることができます。

💡

データエンジニアリングと開発チーム

ETL (Extract、Transform、Load)操作、API呼び出しなど、さまざまな自動化タスクを実装できます。

💡

プロジェクトマネージャ

タスクの依存性、優先順位、予想実行時間などを設定することで、プロジェクトのスケジュールを効果的に調整できます。


予想される質問 Q&A 💬

Q. なぜApache Airflowを学ぶべきですか?

Apache Airflowはデータワークフロー管理ツールで、データパイプラインの自動化、スケジュール、監視に使用されます。

講義後半にはビッグデータ技術(Apache Spark)と連動する部分まで学ぶことができ、多くのパイプラインを管理するデータエンジニアなら大きな助けになるでしょう。

Q. 非専攻者も聞ける講義ですか?

非専攻者がPythonの基本を知っていて、データや作業のスケジュールワークフローを効率化したいなら、多くの助けになるでしょう。

Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!

Q. 講義を聞く前に準備すべきことはありますか?

どうやらPythonでコードを作ってみると、基本的なPython講義はしません。


受講前の注意 📢

練習環境

  • オペレーティングシステムとバージョン(OS)
    • 講義はMacOSで行われますが、Python(Airflow自体がPythonライブラリである)があるオペレーティングシステムならどこでも練習できます。
  • 使用ツール
    • Python 3.7+
    • AirflowはApacheライセンスなので無料です。
  • PC仕様
    • CPU:2コア以上
    • メモリ:4GB以上
    • ディスク:10GB以上

選手の知識と注意

  • PythonとDockerに関する基本的な知識が必要です。 //inf.run/8eFCL ]
  • 質問があれば楽にしてください。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • データエンジニアリングに従事している方

  • データ エンジニアになりたい方

前提知識、
必要でしょうか?

  • Python

こんにちは
です。

10,546

受講生

716

受講レビュー

307

回答

4.8

講座評価

25

講座

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

カリキュラム

全体

32件 ∙ (4時間 8分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

43件

4.6

43件の受講レビュー

  • JINYEONG LEE님의 프로필 이미지
    JINYEONG LEE

    受講レビュー 1

    平均評価 5.0

    5

    31% 受講後に作成

    • 미쿡엔지니어
      知識共有者

      안녕하세요 JINYEONG LEE님, 시간내서 좋은 평가해주셔서 감사합니다.

  • pdy님의 프로필 이미지
    pdy

    受講レビュー 18

    平均評価 5.0

    5

    31% 受講後に作成

    좋습니다

    • 미쿡엔지니어
      知識共有者

      안녕하세요 pdy님, 시간내서 좋은 평가해주셔서 감사합니다.

  • dscover.skku님의 프로필 이미지
    dscover.skku

    受講レビュー 2

    平均評価 5.0

    5

    100% 受講後に作成

    • 미쿡엔지니어
      知識共有者

      안녕하세요 dscover.skku님, 시간내서 좋은 리뷰 주셔서 감사합니다.

  • 이관형님의 프로필 이미지
    이관형

    受講レビュー 1

    平均評価 5.0

    5

    63% 受講後に作成

    • 미쿡엔지니어
      知識共有者

      안녕하세요 이관형님, 시간내서 좋은 평가해주셔서 감사합니다.

  • Ophelie님의 프로필 이미지
    Ophelie

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    이전에 spark 강의 듣고 이어 듣고 있는데, 이론과 실습까지 알찹니다. 대학 때 잘 가르쳐주시는 교수님 강의 듣는 것 같아요, 유용한 컨텐츠 감사합니다.

    • 미쿡엔지니어
      知識共有者

      안녕하세요 Ophelie님, 시간내서 좋은 리뷰 정말 감사드립니다. 뿌듯하네요!

¥7,865

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!