LLMファインチューニング : RunPodとMulti-GPU実習
danielyouk
シリコンバレーLLMプロジェクト現役者から学ぶ、LLM Fine-Tuningのノウハウが満載です。
初級
LLM, RunPod, openAI API
Docker を使用して、クラウドにディープラーニング分析環境を作成できます。 Google、MS などの管理する Docker イメージとクラウドを組み合わせることで、コンピューターで最新のディープラーニング分析方法を使用して作業を行うことができます。
受講生 251名
難易度 初級
受講期間 無制限


学習した受講者のレビュー
5.0
SPAGGY
ドッカー初心者でも簡単にフォローできます。
5.0
심심한 펭귄
データ分析に必要なドッカー講義を検索して講義を聞くようになりました〜 もともと関心があった分野なのにまさに漢講義が見えなかったのにmlopsのためのとても良い講義ですね!講義はドッカーだけでなく、Linuxシステムそしてクラウドまで全体を扱っていますね! まだ最後まで聞いていませんが、難易度も少しありますが、十分に従うことができ、実務に適用してみることができると思います〜
5.0
Sung Cheol Kim
まずは良い講義を作ってくれてありがとう。もう少しアドバンスドセッティングで説明をしていただき、講義を聞く中、単純な知識だけでなく根本的な問題解決のため良い洞察力を得ることができました。多くの機能で混乱しやすい状況でどのように中心をとるのかが分かりました。出てくる講義も期待になります。
Docker を使用して、Kaggle と同じデータ分析環境を構築する
ローカルで強力なコンピューティング パワーを持つクラウドに接続するさまざまな方法
クラウドの使用時にコストを最小限に抑える方法
Docker を理解するための Linux
IDE のコンテナ機能の使用 (VSCode、RStudio、Jupyter Notebook)
Dockerコンテナを適用して、ローカル環境とAzureクラウドコンピュータに同じデータ分析環境に同期する
軽い分析はローカルコンピュータで行われます
リソースが必要な分析の場合は、クラウドコンピュータで行う
目に見える速度差(左:クラウド vs. 右:ローカル環境)
定価の10% Spot Discount方式
低コストでNVIDIA GPUクラウドコンピュータを使用する
クラウドコンピュータをチームのサーバーとして使用する場合、ドッカーコンテナで各チームメンバーの作業環境を完全に分離
ダイナミックリンク機能を使用すると、授業後も関連資料をすばやく見つけることができます。
授業資料の基本枠は維持
Linkは最新の資料に更新し、授業後も定期的に授業資料をダウンロードし、最新の情報にすばやくアクセスできるようにする

ドッカー命令をドッカーヘルプ機能を通じて理解し適用する方法を学びます。 (セクション 4)
docker run --help
chatgptを活用する

Azure CloudにLinux仮想マシンを作成し、さまざまな方法でローカル環境とクラウド仮想マシンを接続します。 (セクション 6)
key 方式の ssh (secure shell)
gui 方式の rdp (remote desktop protocol)
Remote Tunnel ExtentionによるVS Code環境の接続
Pythonのためのドッカー

dev container VS Code extentionを活用してpython分析環境を作成する方法を学びます。 (セクション 7)
ドッカーイメージの作成と配布

dev containerとremote tunnel extentionを使用するpythonのためのDockerは、Dockerの基本的な文法を知らなくてもDockerを使用できるようにします。これは強力な利点ですが、ドッカーの文法をより深く理解できるように、kaggle R Docker Imageに追加の最新のRStudioをインストールするプロセスを実践しながら、次のことを説明します。 (セクション8)
COPYとADD
RUN命令による追加プログラムのインストール
ポート接続に愛情を込めて理解
CMDとENTRYPOINT
ARG
ファイル共有システムの設定

実践の目標であるローカル環境とクラウドを接続する場合、コンピューティング環境を接続するだけでは十分ではありません。学習の際には不快感がないように感じることもありますが、学習した知識を実際のプロジェクトに適用するためにはファイル共有システムの設定が不可欠です。以下の内容を扱います。 (セクション 11)
ADLS2( azure-data-lake-gen2 )の生成
blob mount方式でLinux仮想マシンにADLS2を接続する
blobfuse方式でWindows環境にADLS2を接続する
Microsoft Azure Storage Explorerを介したWindows、MAC環境でADLS2ディレクトリにアクセスする
Docker ComposeとADLS2を使用してパーソナルPCでスパーク分析環境を構成することについて説明します。 (セクション 11)
ドッカーコンフォーズの概念的理解
ドッカーコンテナへのADLS2直接接続
PySpark分析環境の設定
真の仮想化の実装

Dockerの目標である真のContainerizationをAzure CloudのLinux Server仮想マシンに実装します。 (セクション 12)
サーバー管理者と多数のユーザーを作成し、誰もが共同のDocker Imageを共有し、各Docker Container環境を完全に分離するプロセスをシミュレートします。これは mlops の中核となります。
Visual Studio Codeを使用する
GPU設定はクラウドのLinux仮想マシンに適用され、ローカル環境で接続
ローカル環境はWindows、Linux、MAC どんな環境でもプロジェクト進行が可能
ドッカーを活用したプロジェクトに対する自信
クラウドやLinuxへの負担感の脱皮
GPUベースの高仕様コンピュータを1ヶ月10ドル内外の価格で利用可能
Q. ローカル環境にGPUが必要ですか?
ローカル環境とクラウドで同じGPUベースのデータ分析環境を構成することは、ローカル環境にGPUが必要であるということではありません。
GPU設定がされていない場合は、CPU基準の分析環境に設定されます。
Q. どのオペレーティングシステムで最終結果を作成できますか?
ローカル環境のオペレーティングシステムがWindowsであれLinuxであれ、MACであれ、どんな場合でも練習を進めることができます。
ローカル環境のオペレーティングシステムに関係なく、ローカル環境からLinuxクラウドコンピュータに接続します。
Q. 私はpythonユーザーです。講義にはR関連のセクションがありますが、R関連の内容も学習する必要がありますか?
クラスを聞くと感じることができますが、VS Codeのdev container extentionを使用すると、pythonドッカーコンテナを作成するプロセスがとても簡単になります。実際、このような簡単さのためにドッカー文法を習得しなければならない目標では、もう少し遠くなることがあります。たとえば、ほとんどのドッカークラスで強調するボリュームマウントを適用しなくても、dev containerは自動的にボリュームマウントプロセスを実行します。
それで、受講生がドッカーの文法を学ぶのに役立つように、意図的にRセクションも含めました。多くのドッカー講義では、nodejsのようなエプベースのapplicationを基本ベースとしていますが、データエンジニアやサイエンティストの方々ができるだけ簡単にアクセスできるようにデータファンデーションのケースを含めようとRセクションを含めました。
Rを学習するためのセクションとして理解するのではなく、ドッカーの文法をしっかり身につけるための授業コースとして理解してください。
Q. クラウド使用コストはどの程度が適切ですか?
練習に使用されるモデルの場合、Spot Discountオプションを適用すると、1ヶ月10ドル程度の費用(1日3時間程度使用の場合)が発生します。
実際のプロジェクトで高仕様の仮想マシンを構築すると、追加のコストが発生する可能性があります。
Q. 選手の知識が必要ですか?
講義に選手の知識は必要ありません。
選手の知識は想定していませんが、講義の難易度もそれ自体は容易ではありません。しかし、講義のさまざまなセクションで内容が繰り返され、深化するように構成しました。
学習対象は
誰でしょう?
実用的に Docker を学びたいデータ エンジニア、サイエンティスト、アナリスト
実戦を通じて Docker を学びたい開発者およびエンジニア
実際のクラウド ポートフォリオが必要な方
670
受講生
73
受講レビュー
74
回答
4.8
講座評価
7
講座
LLMベースのAI企業でPod Leadとして活動
ソウル大学 機械航空工学部卒業
欧州所在の大学院で機械航空工学修士修了
ドイツ所在の工学研究機関にて博士課程の研究に従事
欧州の大手エネルギー企業でのSenior Data Scientist経験
英国のエネルギーコンサルティング企業にてSenior Consultantとして活動
Databricksベースのデータエンジニアリングプロジェクトを遂行
Kaggle 株式取引 AI コンペティションで上位 3% の成果
AI Agent開発チームリーダーとして現在活動中 Development Team Lead
全体
66件 ∙ (10時間 27分)
講座資料(こうぎしりょう):
全体
17件
4.8
17件の受講レビュー
受講レビュー 10
∙
平均評価 4.6
5
ドッカー初心者でも簡単にフォローできます。
SPAGGYさん、ありがとうございました。 これからも良い講義で探してお会いしましょう😀 そして、いつでも授業内容に関連する内容について質問を残していただければ、できるだけ簡単かつ誠実に回答いたします。
受講レビュー 155
∙
平均評価 5.0
受講レビュー 1
∙
平均評価 5.0
5
データ分析に必要なドッカー講義を検索して講義を聞くようになりました〜 もともと関心があった分野なのにまさに漢講義が見えなかったのにmlopsのためのとても良い講義ですね!講義はドッカーだけでなく、Linuxシステムそしてクラウドまで全体を扱っていますね! まだ最後まで聞いていませんが、難易度も少しありますが、十分に従うことができ、実務に適用してみることができると思います〜
退屈なペンギン! IDでもセンスがあふれますね。 mlopsは何ですか?少しのクラウド、ドッカーコンテナ、そして可能であれば旗をある程度できれば、現業者はすでにmlopsの専門家です^^;ぜひこれからの実務でも学習内容がつながって良い成果がありますように。
受講レビュー 4
∙
平均評価 5.0
5
実戦みたいな講義ですね。実際の業務環境でドッカーをどのように活用できるか実用的な例とヒントを提供し、講義の数が多いのに週末に没頭して聞いた。次に別の講義が上がったらまた聞きます。
講義が役に立ったのはとても幸いです。講義をできるだけ本番と同じように整理しようとしました。次の講義の時にお会いしましょう。必要な場合はメールでもご連絡いただければ、私が追加でサポートできるものがあればできるだけお手伝いさせていただきます。
受講レビュー 1
∙
平均評価 5.0
5
まずは良い講義を作ってくれてありがとう。もう少しアドバンスドセッティングで説明をしていただき、講義を聞く中、単純な知識だけでなく根本的な問題解決のため良い洞察力を得ることができました。多くの機能で混乱しやすい状況でどのように中心をとるのかが分かりました。出てくる講義も期待になります。
大手な仕事をしていますね。講義が役に立ったとは感謝しています。講義内容を実戦で直接使ってみることができればかっこいいと思います。もし実戦に適用した成功事例を共有していただければ知識の好循環になりそうです。ありがとうございます。
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!
期間限定セール、あと2日日で終了
¥53,900
30%
¥9,940