シリコンバレーのエンジニアと共に創るCodex
altoformula
ChatGPTだけを使っていた開発者から、AIエージェントを使いこなす開発者へ。CodexのRules、Hooks、Skills、MCPを活用して、コーディングの生産性を極大化する実践的な活用法を学びます。
入門
AI, Python, codex
ソフトウェア データ パイプラインを作成する際に最もよく使用されるオーケストレーターである Apache Airflow を学習できます。
受講生 657名
難易度 初級
受講期間 無制限


学習した受講者のレビュー
5.0
chocheetah
社内で既存のスケジューラを分離し、実行履歴などをうまく管理するための用途として、MWAAの導入を検討している中、該当講義を聞くことになりました。 airflowをどのように起動するのかわからないときは、コードを書いてローカルドッカー環境を設定し、DAGを作成しながらどのようなフローで使用するべきかを感じました。 運用環境で各プラットフォームに合わせてBest Practiceを探し出す過程は容易ではないでしょうが、公式文書を読んでいろいろ触れてみることができる基礎知識をよく習得することになったようです。ありがとうございます。
5.0
ground
データエンジニアは、どんなツールを使って、そのツールが何をしているのかを知ることができる講義のようです。走り続けます。いつも良い講義を作ってくれてありがとう
5.0
소연
仕事にうまく活用したくて講義を申し込んだ。基礎勉強をするのにちょうど適当だと思います。実習中心に進んでよかったです。
データ パイプラインの構築
Apache Airflow(アパッチ エアーフロー)
Apache Spark(アパッチ スパーク)の紹介
MinIO の紹介
TaskFlow API
Slack 統合
データパイプライン必須ツール、Airflow
シリコンバレーの開発者に学びましょう!
Airflow(エアフロー)の簡単な設定と使い方を学びましょう。
データ分析と処理タスクが複雑になり、タスクのスケジューリング、依存性管理、エラー処理などの問題がより重要になってきています。
この講義は、初めてAirflowに触れる皆さんのためにあらかじめ用意した講義です。
自動化されたワークフロー管理
Airflowは、時間をかけて自動的にタスクを実行および管理するための強力なスケジューリング機能を提供します。
依存性管理
複雑なデータワークフローでは、ジョブ間の依存関係を正確に管理する必要があります。
強力な監視と通知
タスクの実行中に、Airflowダッシュボードを使用してタスクの進行状況を監視できます。
拡張性と柔軟性
Airflowはさまざまなプラグインとライブラリをサポートし、さまざまなデータストア、タスク実行環境、および通知メカニズムと統合できます。
コミュニティとエコシステム
Airflowには活発なコミュニティと豊富なエコシステムがあり、問題解決に役立つ素晴らしいリソースがたくさんあります。
✅難しい概念なしで簡単に!
✅実際のAirflowの使用過程に従い、簡単なデータワークフローを作ってみる実習中心講義!
✅講義中に気になったり理解していない部分がある場合は、いつでも質問してください。
現職シリコンバレーエンジニアのノウハウをそのままお届けします!
私はYouTubeの「 ミックックエンジニア」とブランチ「 シリコンバレーのニュースと生活」を運営する現職のソフトウェアエンジニアです。やっています。
💡
データエンジニア
データワークフローを自動化してスケジューリングして、データの品質と一貫性を維持します。
💡
データアナリスト
定期的なデータ更新やモデルの再学習作業などを処理してみてください。
💡
データ科学者
モデルのトレーニング、評価、配置予測などを自動化し、データサイエンスプロセスを効率的に管理します。
💡
システム管理者
ジョブの実行に対する透明性と信頼性を向上させることができます。
💡
データエンジニアリングと開発チーム
ETL (Extract、Transform、Load)操作、API呼び出しなど、さまざまな自動化タスクを実装できます。
💡
プロジェクトマネージャ
タスクの依存性、優先順位、予想実行時間などを設定することで、プロジェクトのスケジュールを効果的に調整できます。
Q. なぜApache Airflowを学ぶべきですか?
Apache Airflowはデータワークフロー管理ツールで、データパイプラインの自動化、スケジュール、監視に使用されます。
講義後半にはビッグデータ技術(Apache Spark)と連動する部分まで学ぶことができ、多くのパイプラインを管理するデータエンジニアなら大きな助けになるでしょう。
Q. 非専攻者も聞ける講義ですか?
非専攻者がPythonの基本を知っていて、データや作業のスケジュールワークフローを効率化したいなら、多くの助けになるでしょう。
Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!
Q. 講義を聞く前に準備すべきことはありますか?
どうやらPythonでコードを作ってみると、基本的なPython講義はしません。
学習対象は
誰でしょう?
データエンジニアリングに従事している方
データ エンジニアになりたい方
前提知識、
必要でしょうか?
Python
インフラン認証
25,115
受講生
1,408
受講レビュー
364
回答
4.8
講座評価
32
講座
韓国で終わらせるつもり?英語で世界市場を突き破れ! 🌍🚀
こんにちは。UC Berkeleyで💻コンピューター工学(EECS)を専攻し、シリコンバレーで15年以上ソフトウェアエンジニアとして働いてきました。現在はシリコンバレーのビッグテック本社でビッグデータとDevOpsを担当するStaff Software Engineerを務めています。 working with Big Data and DevOps at a Big Tech headquarters in Silicon Valley.
🧭 シリコンバレーのイノベーションの現場で直接学んだ技術とノウハウを、オンライン講義を通じて皆さんと分かち合いたいと思います。
🚀 技術革新の最前線で学び成長してきた私と共に、皆さんもグローバルな舞台で活躍できる力を身につけましょう!
🫡 頭は良くありませんが、諦めずにコツコツと続ければ何事も成し遂げられるということを、ぜひお伝えしたいです。いつも役立つ資料で、そばからサポートさせていただきます。
全体
34件 ∙ (4時間 18分)
講座資料(こうぎしりょう):
全体
57件
4.7
57件の受講レビュー
受講レビュー 8
∙
平均評価 5.0
5
データパイプライン設計の概念と主要技術を実務的に学習し、身につけることができる良い教育でした。
こんにちは dojoon.suk様、 貴重なお時間を割いて素敵なレビューを残してくださり、ありがとうございます。
受講レビュー 5
∙
平均評価 4.8
5
非専門家でも理解しやすいように説明してくださるので嬉しいです。 Airflowを学ぶのがとても楽しいです!
Gong16さん、こんにちは。 お忙しい中、素敵なレビューを残していただきありがとうございます。分かりやすかったとのことで安心いたしました!講義にご満足いただけたようで、とても嬉しいです。
受講レビュー 33
∙
平均評価 5.0
5
急遽 Airflow 3.2 バージョンを運用することになり購入しましたが、結果として非常に助かっています。 オープンソースベースであるためバージョンアップが非常に速く、同時に互換性のあるライブラリが次々と追加されるため、どのライブラリやパッケージを使えばより汎用的になるのかを探すのに時間がかかっていました。 講義内容は非常に満足していますが、さらに欲を言えば、講義内容に「公式ドキュメントのこの部分を参照してください」というメッセージと共にURLを添えていただければ、公式ドキュメントの目次の見方も学べるのではないかと思います。 例)TaskFlow APIの講義の下部に、Airflow 2.0以降からは Operator -> TaskFlow APIの方がメリットが多く主に使われている、という内容の公式ドキュメントURL 例)MinIOは ObjectStoragePath、S3Hook など色々ある中で、2.8以降のクラウドストレージ抽象化によって汎用的に使われている、という内容のURLリンクなど
ホン・テギョン様、こんにちは。 素敵なレビューを残していただき、心より感謝申し上げます。🙏 Airflowは、まさにオープンソースエコシステムの長所と短所が共存しているプロジェクトだと思います。おっしゃる通り、バージョンのアップグレード速度が速く、ProviderパッケージやOperator、Hook、APIが絶えず変化するため、実際の運用環境では「どの方式を選べば今後も長く使い続けられるか」を判断するのに、思った以上に時間がかかってしまうようです。 講義がお役に立てたとのこと、大変嬉しく思います。 また、公式ドキュメントのURLを併せて提供してほしいというご意見も、非常に素晴らしい提案だと感じました。単に機能の使い方を学ぶだけでなく、公式ドキュメントを読み、自ら最新情報を探していく方法まで身につけることが、実務においてはさらに重要だからです。 同じ内容を公式ドキュメントのリンクと共に提供すれば、受講生の皆様が今後のバージョン変化にもより柔軟に対応できるようになるかと思います。 次回のアップデート時には、主要な講義ごとに関連する公式ドキュメントのリンクや参考セクションを追加する方向で検討させていただきます。貴重なフィードバックをいただきありがとうございました。これからもAirflowエコ心の変化に合わせて、継続的にアップデートしてまいります。ありがとうございます! 😊
受講レビュー 40
∙
平均評価 5.0
受講レビュー 1
∙
平均評価 2.0
2
この授業は期待していたものとは異なり、完走した時に簡単なプロジェクトが完成するものではありません。 そして最も重要な点は、飛び飛びに進む部分が多いと感じられます。 例えば、ダウンロードしろという話もなかったのに突然postgresを使用して講義を止めてインストール方法を調べてエラーが出たら直して、、 突然dbeaverを起動してクエリ文を投げながらテーブル作成するのを見て再び慌ててdbeaverをダウンロードして 講義も昔の映像が混ざっているため映像に出てきた文法をそのまま使ってみてもpythonとairflowのバージョンが違ってエラーが出るのを解決できずに進度が進められずにいます。 もちろん提供していただいた例題ファイルにpythonバージョンairflowバージョンが書かれてはいるものの何が問題なのかは分かりませんね。 専攻生の私でも少し手に余るのに非専攻生の方々はいかがでしょうか。 一旦講義は最後まで聞いてみて受講評は修正してみます。
こんにちは、金ヨンホ様、 お忙しい中、貴重なフィードバックをいただき、ありがとうございます。もう一度、講義を全て確認し、補足資料があれば追加させていただきます。
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!