シリコンバレーのAI開発者によるLLMサービスのためのRAG
Hong
¥20,881
早割
69%
¥6,300
入門 / JavaScript, Python, AI, ChatGPT, RAG
5.0
(3)
LLMの限界? シリコンバレーの現場で経験したRAGの試行錯誤と運用ノウハウをもとに、実践的な問題解決法をお伝えします。
入門
JavaScript, Python, AI
Apache Airflowを活用したデータパイプライン構築プロセスを、基礎から実践まで学習します。Airflowの核心概念とアーキテクチャを理解し、動的DAG、並列処理、分散処理、Custom Operatorなど、実務で頻繁に活用される高度な設計パターンを実習を通じて習得します。PythonとDockerで実習環境を構成し、実際のワークフローを設計・運用できる実践的な能力を養います。
受講生 216名
難易度 初級
受講期間 無制限
学習した受講者のレビュー
5.0
미래 1인 개발자
今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!
5.0
dellahong
Airflowを3年間使用していますが、データ処理の規模が大きくなるにつれて頻繁にエラーが発生し始め、他の会社ではどのような方式で使用しているのか気になって講義を受講することになりました。とても多くの助けになっています!実務的にAirflowの概念と実習があるので、理解して適用するのにとても役立ちます :)
5.0
텐버거!
私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!
Apache Airflowの概念と必要性の理解
Airflow Core Components 構造の把握
動的DAG(Dynamic DAG)の設計方法
TaskGroupと依存関係管理パターン
並列処理および大容量データ再処理戦略
Custom Operatorとそのカプセル化、デコレータの活用
Python & Docker ベースの実習環境構築
抽出して加工してロードする作業をcronで繋いでおけば、大抵は回ります。問題は3番目のステップが失敗した時です。どこで止まったのか、前の2つを回し直すべきか、昨日の分をどう補うか。
この画面がAirflowが提供するもののほぼすべてです。どのタスクがどのタスクの後に来るのか、どこで止まったのか、何がまだ待機中なのかが人の記憶ではなくシステムに残ります。
01 / 問題
cronジョブで繋いだパイプラインで中間が壊れると、その後はすべて人間が判断することになります。
QUESTION 1
スクリプトのログを開き、最後に記録された行を探します。複数のサーバーに分散している場合は、その分だけ手間が増えます。
QUESTION 2
すでに成功した段階を再度実行してもよいか、二度実行するとデータが重複するかどうか、コードを読んで確認します。
QUESTION 3
実行できなかった区間を手動で計算し、一つずつ再実行します。範囲を間違えると、そのまま事故につながります。
違いが明らかになるのは、順調に回っている時ではなく失敗した時です。再処理の範囲を人が手動で計算しているなら、そこがワークフローを必要とする箇所です。
02 / 開始
Hongも最初は「クローンジョブと何が違うの?」と聞きました。その質問がこの講義の最初のセクションになりました。
03 / 構成
Airflowを起動すると、複数のプロセスが同時に立ち上がります。それぞれがどのような役割を担っているかを知ることで、問題が発生した際にどこを確認すべきかが分かります。
上に表示されているグリッド画面を描画する側です。DAGのリストと実行履歴を目で確認する場所です。
実行するタイミングになったタスクを探してキューに入れます。心臓部に該当し、ほとんどの「なぜ動かないのか」という問題がここで決まります。
実際にタスクを実行します。どのExecutorを使用するかによって、1台で実行するか、複数台に分散して実行するかが決まります。
DAGとタスクの状態がすべてここに残ります。上のグリッドの色の一つ一つが、このデータベースの行にあたります。
セクション3が丸ごと、この4つを掘り下げる場です。構造を先に掴んでおけば、後に出てくる並列処理とCelery Executorの話がずっとスムーズに理解できます。
04 / カリキュラム
前半でなぜ使うのかという理由と構造を把握し、後半で環境を構築してパターンを実際に動かします。
05 / 実習
PythonとDockerさえあれば大丈夫です。最後のセクションでは、Celery ExecutorとRedisを連携させて分散処理まで行います。
実習ソースコードと講義要約資料がセクション1に含まれています。Pythonを深く知らなくても、Airflowの動作を確認する分には問題ありません。
理論だけで終わりません。2つのセクションが丸ごと実習で、最後には分散処理まで行います。
커리큘럼 보기06 / 対象
パイプラインをcronで繋ぎ合わせ、障害のたびに手作業で埋めているバックエンド開発者。
Airflowをすでに運用しているが、なぜそのように動くのか分からず、問題が発生すると右往左往してしまう方。
実行できなかった区間を直接数えて再実行している実務開発者。
サーバー開発からデータエンジニアリングへと領域を広げようとしている開発者。
07 / 今の市場
新卒採用は減り、企業は即戦力となる人材だけを採用しようとしています。ここ数ヶ月の間に報じられた記事です。
企業が不安を感じている分、選ばれる側はより明確な差を見せなければなりません。勉強は結局自分でするものですが、何をどのような視点で見るかによって、同じ時間を使っても説明できる深さが変わってきます。
08 / 受講レビュー
インフロン(Inflearn)の受講レビューからそのまま引用しました。
Airflowを3年ほど使用していますが、データ処理の規模が大きくなるにつれてエラーが頻発するようになり、他社ではどのような方式で運用しているのか気になって受講しました。非常に助かっています。実務的なAirflowの概念と実習があるため、理解して適用するのにとても役立ちます。
dellahong · 62% 受講後に作成
共有者様の講義で、SpringやJava以外の言語を使用されているのを初めて見た気がします。それでも特に不便な点もなくスムーズに視聴できましたし、Pythonを知っていればより良いですが、Airflowを活用してテストしてみたいのであれば、あえて知らなくても問題ない講義だと思います。
Jlos Ho · 90%受講後に作成
秋夕(チュソク)の連休期間に素早く学習しようと受講しました。大きな期待はせずに受講しましたが、本当にとても役に立ったと思います。Airflowだけでなく、一般的なプログラミングの観点や開発者の視点からも多くのことを学ぶことができました。
リルポイ_! · 100%受講後に作成
09 / 作成者
実務で毎日使っている人が資料を作り、Hongが初めて学ぶ人の視点で質問を投げかけながら、一緒に撮影しました。
TOSS · BACKEND ENGINEER
地方でコンピューター工学を専攻し、NAVERを経て、現在はTossでバックエンドを開発しています。この講義のテーマは、実務で毎日使っているものたちです。
"Airflowがクロンジョブと何が違うのかという質問自体が、なぜ使うべきなのかに対する答えです。"
知識共有者 · 板橋(パンギョ)プラットフォームサーバー開発
非専門家からスタートし、現在は板橋(パンギョ)でプラットフォームのバックエンドを開発しています。一人ではなく、現職の有能な知人たちと一緒に講義を作ることを原則としています。
"私も最初はクロンジョブと何が違うのか分かりませんでした。そこからスタートします。"
10 / 質問
順序と依存関係をコードで残せば、障害対応が個人の記憶からシステムへと移行します。
결정하기 전에 커리큘럼 다시 훑어보기講義を聞いていて気になる部分、自分のサービスに適用しながら生じる質問、キャリアの話まで共有できる場所が別途用意されています。行き詰まる部分は、大抵他の人も行き詰まる部分です。
学習対象は
誰でしょう?
実務で大規模データを扱うサーバー・データエンジニア
データパイプラインの設計と運用の経験を積みたい開発者
Airflowを導入または高度化しようとしている企業の技術担当者
分散処理およびワークフロー自動化に関心のあるアーキテクト
プロダクション環境で安定したデータプラットフォームを構築したいチームリード/シニア開発者
インフラン認証
キャリア認証
9,258
受講生
593
受講レビュー
165
回答
4.8
講座評価
31
講座
家でだらだら過ごしていたところ、開発に興味を持ち勉強を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が勉強してきた方法や、実務で直面する可能性のある様々な問題点とその解決策を皆さんに提供したいと思い、知識共有者としての活動を続けています。
講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。
Tossの開発者からの推薦で合流されたシリコンバレーの開発者 Waddy, người đã tham gia theo lời giới thiệu của một nhà phát triển từ Toss
[知識共有者の経歴]
[前] サンドボックスIP関連ブロックチェーン開発者
[前] メタバースバックエンドエンジニア
[現] 板橋(パンギョ)でベテランになりつつあるサーバー開発者
[インタビュー履歴]
[その他のお問い合わせ]
[公式サイト]
全体
29件 ∙ (4時間 39分)
講座資料(こうぎしりょう):
全体
19件
4.7
19件の受講レビュー
受講レビュー 9
∙
平均評価 5.0
5
良い講義をありがとうございます。講師の方の講義でSpring、Java以外の他の言語を使われるのは初めて見るような気がします。それでも大きく不便な部分なく良く見ることができ、python言語をもちろん知っていればより見やすいとは思いますが、単純にAirflowを活用してテストしてみて、率直に言って味見をしたいなら別に知らなくても良い講義のような気がします。 今回も本当にとても良い講義をありがとうございます。講師の方もだんだん講義の実力も成長し、それに伴って私も一緒に成長しているような気がして誇らしいですね😊😊次回も良いテーマでよろしくお願いいたします!
こんにちは、Jios Hoさん、レビューを残していただきありがとうございます。最近は言語に対する制約が少なくなる傾向にあるようですね。そこで今回は少し特徴のある講義を一度準備してみました。ありがとうございます!
受講レビュー 10
∙
平均評価 5.0
5
私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!
こんにちは、テンバーガー!さん、良いレビューを残していただき、ありがとうございます!!今後もより良いコンテンツを提供できるよう努力いたします!!
受講レビュー 9
∙
平均評価 5.0
5
使ってみることはできませんでしたが、大容量バッチ処理に対する見解を学ぶことができる良い講義だと思います。講義よく見ました。
こんにちは、a miさん、良いレビューを残していただきありがとうございます!!今後もより良い講義を提供できるよう努力いたします。良い一日をお過ごしください!
受講レビュー 8
∙
平均評価 5.0
5
今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!
💜
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!
新規会員登録で25%OFF
¥5,130
25%
¥6,840