[秋夕特集] シリコンバレーの開発者が教えるLLM評価ハーネスエンジニアリング
Hong
LLMを活用したサービスを作る中で、プロンプトやモデルを変更した後、以前より回答の品質が低下したかどうかを確認するのが難しかった経験があるなら、この講義が解決策になるかもしれません。自分で評価基準を作成し、変化した回答を自動的に見つけ出す方法を学びます。
初級
JavaScript, TypeScript, Business Productivity
Apache Airflowを活用したデータパイプラインの構築方法を、基礎から実践まで学びます。Airflowの主要概念とアーキテクチャを理解し、動的DAG、並列処理、分散処理、Custom Operatorなど、実務で頻繁に活用される高度な設計パターンを、実習を通して身につけます。PythonとDockerで実習環境を構築し、実際のワークフローを設計・運用できる実践力を養います。
受講生 229名
難易度 初級
受講期間 無制限
学習した受講者のレビュー
5.0
미래 1인 개발자
今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!
5.0
dellahong
Airflowを3年間使用していますが、データ処理の規模が大きくなるにつれて頻繁にエラーが発生し始め、他の会社ではどのような方式で使用しているのか気になって講義を受講することになりました。とても多くの助けになっています!実務的にAirflowの概念と実習があるので、理解して適用するのにとても役立ちます :)
5.0
텐버거!
私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!
Apache Airflowの概念と必要性を理解する
Airflow Core Componentsの構造を把握する
動的DAG(Dynamic DAG)の設計方法
TaskGroupと依存関係管理パターン
並列処理および大容量データの再処理戦略
Custom Operatorとそれに伴うカプセル化、デコレーターの活用
Python & Dockerベースの実習環境構築
❗これは実際の会話内容です。❗
😁 Toss:Hong、airflowって知ってる??
😄 Hong:知ってはいるけど、使ったことはないよ。どうして?
😁 Toss:前に作ったworkflow講義があるじゃん。それを見て、もしかしたらairflowについても扱ったらどうかなと思って……。俺はairflowしか使ったことがないんだよね。
😄 Hong:でも僕はairflowを使ったことないし、よく分からない。どうすればいいの?
😁 Toss : 大丈夫、今も実務で使ってるから、俺が主導して教えられるよ。弟子のために身を燃やしてやる
😄 Hong:ㅋㅋㅋㅋコンセプトをしっかりつかんでるね。わかった。でも、これって絶対に使わなきゃいけないの? 普通のバッチ処理やcronジョブ処理と、実際のところあまり違いを感じないんだけど?
😁 Toss:そういう考えを持つこと自体がairflowを使うべき理由になるんだよね……airflowとバッチ処理やクロンジョブとは一部違いがあるし、端的に言えばワークフローを使うべき理由と同じで、ビッグデータもあるわけじゃん。
データ処理モジュールを構成するのに、本当にAirflowが必要なのか?なぜ必ず使わなければならないのか?私が思うには、一般的なバッチ処理モジュールやcronジョブを使って実装すればよさそうだが?
もしかして、このように考えたことはありませんか?? そうであれば、この講義を通してAirflowを活用・導入するプロセスを学んでみると、キャリア面で大きな助けになるでしょう。
答えはワークフロー管理にあります。データの抽出、加工、処理まで、この一連のプロセスをどのように安定して進行させ、パイプラインのように順序立てて依存関係を管理できるでしょうか??この一連のプロセスが、1つのプラットフォームを通じてすべてサポートされるとしたらどうでしょうか??
理論だけを並べる退屈な講義ではなく、実際に動作する過程を一緒に見ながら、ワークフローベースの大規模データパイプライン設計における主要機能を完全に習得できる実践的なガイドとしてご用意しました。 🚀
📌 30個ほどのダイアグラムと講義要約ファイルを含む充実した講義構成
* 단순히 말만으로 설명하는 강의가 아니라, 실제 소스코드, 다이어그램, 시퀀스그램, 추가로 강의 내용에 대한 간단한 요약본 파일도 제공해 드리고 있습니다.
📌 理論60%、実習40%、完璧なテスト環境を提供
* 単に理論だけを並べる講義ではなく、実際に皆さんが目で確認しながら学んだ内容を身につけられる軽量な環境を提供し、その環境で実習も柔軟にテストできるよう構成しています。
🧑🎓 307 ⭐ 5.0
🧑🎓379 ⭐ 4.9
🧑🎓 483 ⭐ 4.7
🧑🎓 239 ⭐ 4.8
* Airflowとは?
*バッチジョブ & Cronジョブ vs Airflow
*Apache Airflowの欠点と導入におけるアンチパターン
* 全体的なCore Components Architectureの紹介
* WebServerコンポーネント詳細解説
* Schedulerコンポーネントの詳細
* Executorコンポーネントの詳細解説
* MetaDataDBコンポーネントの詳細解説
* 動的DAG生成パターン [ Dynamic DAG ]
* Cross-DAG Dependenciesとデータ依存関係
* TaskGroupを活用した複雑なワークフロー設計
* 再利用とカプセル化のためのカスタムオペレーター
*Docker、docker-composeを活用した軽量な環境構築
* Airlfowの並列処理と分散処理戦略
* Slackを活用した通知
* CeleryExecutorを活用したデータ分散処理
非専攻出身で、現在は板橋でプラットフォームバックエンド開発者として勤務している開発者
現実的な開発手法と開発論をお伝えすることを目標としており、一人ではなく、周囲の優秀な知人たちとともに講義を作る知識共有者
熱心に活動したおかげで、インフランでインタビューを受けた知識共有者
地方でコンピューター工学を専攻し、NAVERで開発を行った後、現在はTossでバックエンド開発をしているサーバー開発者
いつも時間が足りず、ホンにたくさん叱られている開発者…
経済的自由を実現したく、個人開発を夢見ている開発者
python3、pip3
Python 3.13.2
25.0 from /opt/homebrew/lib/python3.13/site-packages/pip (python 3.13)
docker、docker-compose
Docker version 28.0.0, build f9ced58158
Docker Compose version 2.33.1
OS
Apple M3 Air
こちらの講義は、早期にご購入いただく方により高い割引率をご提供するため、時間の経過に伴い割引率が調整される予定です。あらかじめご了承ください。
学習対象は
誰でしょう?
実務で大規模データを扱うサーバー/データエンジニア
データパイプラインの設計と運用経験を積みたい開発者
Airflowの導入または高度化を検討している企業の技術担当者
分散処理およびワークフロー自動化に関心のあるアーキテクト
本番環境で安定したデータプラットフォームを構築したいチームリード/シニア開発者
インフラン認証
キャリア認証
10,336
受講生
645
受講レビュー
171
回答
4.8
講座評価
34
講座
家でだらだら過ごしていたところ、開発に興味を持ち勉強を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が勉強してきた方法や、実務で直面する可能性のある様々な問題点とその解決策を皆さんに提供したいと思い、知識共有者としての活動を続けています。
講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。
Tossの開発者からの推薦で合流されたシリコンバレーの開発者 Waddy, người đã tham gia theo lời giới thiệu của một nhà phát triển từ Toss
[知識共有者の経歴]
[前] サンドボックスIP関連ブロックチェーン開発者
[前] メタバースバックエンドエンジニア
[現] 板橋(パンギョ)でベテランになりつつあるサーバー開発者
[インタビュー履歴]
[その他のお問い合わせ]
[公式サイト]
全体
29件 ∙ (4時間 39分)
講座資料(こうぎしりょう):
全体
20件
4.7
20件の受講レビュー
受講レビュー 9
∙
平均評価 5.0
5
使ってみることはできませんでしたが、大容量バッチ処理に対する見解を学ぶことができる良い講義だと思います。講義よく見ました。
こんにちは、a miさん、良いレビューを残していただきありがとうございます!!今後もより良い講義を提供できるよう努力いたします。良い一日をお過ごしください!
受講レビュー 9
∙
平均評価 5.0
5
良い講義をありがとうございます。講師の方の講義でSpring、Java以外の他の言語を使われるのは初めて見るような気がします。それでも大きく不便な部分なく良く見ることができ、python言語をもちろん知っていればより見やすいとは思いますが、単純にAirflowを活用してテストしてみて、率直に言って味見をしたいなら別に知らなくても良い講義のような気がします。 今回も本当にとても良い講義をありがとうございます。講師の方もだんだん講義の実力も成長し、それに伴って私も一緒に成長しているような気がして誇らしいですね😊😊次回も良いテーマでよろしくお願いいたします!
こんにちは、Jios Hoさん、レビューを残していただきありがとうございます。最近は言語に対する制約が少なくなる傾向にあるようですね。そこで今回は少し特徴のある講義を一度準備してみました。ありがとうございます!
受講レビュー 8
∙
平均評価 5.0
5
今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!
💜
受講レビュー 10
∙
平均評価 5.0
5
私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!
こんにちは、テンバーガー!さん、良いレビューを残していただき、ありがとうございます!!今後もより良いコンテンツを提供できるよう努力いたします!!
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!
期間限定セール、あと15:33:27日で終了
¥37,730
30%
¥6,784