강의

멘토링

로드맵

Inflearn brand logo image
BEST
Programming

/

Devops & Infra

実戦ドッカー:ドッカーで自分だけのディープラーニングクラウドコンピュータを作る

Docker を使用して、クラウドにディープラーニング分析環境を作成できます。 Google、MS などの管理する Docker イメージとクラウドを組み合わせることで、コンピューターで最新のディープラーニング分析方法を使用して作業を行うことができます。

  • danielyouk
도커
머신러닝
kaggle
rdp
외국계
Docker
Virtualization
Python
Deep Learning(DL)
mlops

学習した受講者のレビュー

こんなことが学べます

  • Docker を使用して、Kaggle と同じデータ分析環境を構築する

  • ローカルで強力なコンピューティング パワーを持つクラウドに接続するさまざまな方法

  • クラウドの使用時にコストを最小限に抑える方法

  • Docker を理解するための Linux

  • IDE のコンテナ機能の使用 (VSCode、RStudio、Jupyter Notebook)

Docker + Cloud + Deep Learing = DevOps Data Scientist

ドッカープロジェクト実践中心の講義

  • Dockerコンテナを適用して、ローカル環境とAzureクラウドコンピュータに同じデータ分析環境に同期する

  • 軽い分析はローカルコンピュータで行われます

  • リソースが必要な分析の場合は、クラウドコンピュータで行う


目に見える速度差(左:クラウド vs. 右:ローカル環境)

  • 定価の10% Spot Discount方式

  • 低コストでNVIDIA GPUクラウドコンピュータを使用する

  • クラウドコンピュータをチームのサーバーとして使用する場合、ドッカーコンテナで各チームメンバーの作業環境を完全に分離


講義の特徴

  • ダイナミックリンク機能を使用すると、授業後も関連資料をすばやく見つけることができます。

  • 授業資料の基本枠は維持

  • Linkは最新の資料に更新し、授業後も定期的に授業資料をダウンロードし、最新の情報にすばやくアクセスできるようにする

📖主なコンテンツ一覧

ドッカー命令学習

ドッカー命令をドッカーヘルプ機能を通じて理解し適用する方法を学びます。 (セクション 4)

  • docker run --help

  • chatgptを活用する

Azureで仮想マシンを作成する

Azure CloudにLinux仮想マシンを作成し、さまざまな方法でローカル環境とクラウド仮想マシンを接続します。 (セクション 6)

  • key 方式の ssh (secure shell)

  • gui 方式の rdp (remote desktop protocol)

  • Remote Tunnel ExtentionによるVS Code環境の接続

Pythonのためのドッカー

dev container VS Code extentionを活用してpython分析環境を作成する方法を学びます。 (セクション 7)

ドッカーイメージの作成と配布



dev containerとremote tunnel extentionを使用するpythonのためのDockerは、Dockerの基本的な文法を知らなくてもDockerを使用できるようにします。これは強力な利点ですが、ドッカーの文法をより深く理解できるように、kaggle R Docker Imageに追加の最新のRStudioをインストールするプロセスを実践しながら、次のことを説明します。 (セクション8)

  • COPYとADD

  • RUN命令による追加プログラムのインストール

  • ポート接続に愛情を込めて理解

  • CMDとENTRYPOINT

  • ARG

ファイル共有システムの設定


実践の目標であるローカル環境とクラウドを接続する場合、コンピューティング環境を接続するだけでは十分ではありません。学習の際には不快感がないように感じることもありますが、学習した知識を実際のプロジェクトに適用するためにはファイル共有システムの設定が不可欠です。以下の内容を扱います。 (セクション 11)

  • ADLS2( azure-data-lake-gen2 )の生成

  • blob mount方式でLinux仮想マシンにADLS2を接続する

  • blobfuse方式でWindows環境にADLS2を接続する

  • Microsoft Azure Storage Explorerを介したWindows、MAC環境でADLS2ディレクトリにアクセスする

Docker ComposeとADLS2を使用してパーソナルPCでスパーク分析環境を構成することについて説明します。 (セクション 11)

  • ドッカーコンフォーズの概念的理解

  • ドッカーコンテナへのADLS2直接接続

  • PySpark分析環境の設定

真の仮想化の実装


Dockerの目標である真のContainerizationをAzure CloudのLinux Server仮想マシンに実装します。 (セクション 12)

サーバー管理者と多数のユーザーを作成し、誰もが共同のDocker Imageを共有し、各Docker Container環境を完全に分離するプロセスをシミュレートします。これは mlops の中核となります。

授業で使用するツールとハードウェア条件

  • Visual Studio Codeを使用する

  • GPU設定はクラウドのLinux仮想マシンに適用され、ローカル環境で接続

  • ローカル環境はWindows、Linux、MAC どんな環境でもプロジェクト進行が可能

受講後は何ができますか?

  • ドッカーを活用したプロジェクトに対する自信

  • クラウドやLinuxへの負担感の脱皮

  • GPUベースの高仕様コンピュータを1ヶ月10ドル内外の価格で利用可能

質問がありますか?

Q. ローカル環境にGPUが必要ですか?

ローカル環境とクラウドで同じGPUベースのデータ分析環境を構成することは、ローカル環境にGPUが必要であるということではありません。

GPU設定がされていない場合は、CPU基準の分析環境に設定されます。

Q. どのオペレーティングシステムで最終結果を作成できますか?

ローカル環境のオペレーティングシステムがWindowsであれLinuxであれ、MACであれ、どんな場合でも練習を進めることができます。

ローカル環境のオペレーティングシステムに関係なく、ローカル環境からLinuxクラウドコンピュータに接続します。

Q. 私はpythonユーザーです。講義にはR関連のセクションがありますが、R関連の内容も学習する必要がありますか?

クラスを聞くと感じることができますが、VS Codeのdev container extentionを使用すると、pythonドッカーコンテナを作成するプロセスがとても簡単になります。実際、このような簡単さのためにドッカー文法を習得しなければならない目標では、もう少し遠くなることがあります。たとえば、ほとんどのドッカークラスで強調するボリュームマウントを適用しなくても、dev containerは自動的にボリュームマウントプロセスを実行します。

それで、受講生がドッカーの文法を学ぶのに役立つように、意図的にRセクションも含めました。多くのドッカー講義では、nodejsのようなエプベースのapplicationを基本ベースとしていますが、データエンジニアやサイエンティストの方々ができるだけ簡単にアクセスできるようにデータファンデーションのケースを含めようとRセクションを含めました。

Rを学習するためのセクションとして理解するのではなく、ドッカーの文法をしっかり身につけるための授業コースとして理解してください。

Q. クラウド使用コストはどの程度が適切ですか?

練習に使用されるモデルの場合、Spot Discountオプションを適用すると、1ヶ月10ドル程度の費用(1日3時間程度使用の場合)が発生します。

実際のプロジェクトで高仕様の仮想マシンを構築すると、追加のコストが発生する可能性があります。

Q. 選手の知識が必要ですか?

講義に選手の知識は必要ありません。

選手の知識は想定していませんが、講義の難易度もそれ自体は容易ではありません。しかし、講義のさまざまなセクションで内容が繰り返され、深化するように構成しました。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 実用的に Docker を学びたいデータ エンジニア、サイエンティスト、アナリスト

  • 実戦を通じて Docker を学びたい開発者およびエンジニア

  • 実際のクラウド ポートフォリオが必要な方

こんにちは
です。

608

受講生

63

受講レビュー

73

回答

4.8

講座評価

7

講座

  • LLM 기반 AI 기업에서 Pod Lead로 활동

  • 서울대학교 기계항공 공학부 졸업

  • 유럽 소재 대학원에서 기계항공공학 석사

  • 독일 소재 공학 연구기관에서 박사 과정 연구 수행

  • 유럽 대형 에너지 기업에서 Senior Data Scientist 경험

  • 영국 소재 에너지 컨설팅 기업에서 Senior Consultant 활동

  • Databricks 기반 데이터 엔지니어링 프로젝트 수행

  • Kaggle 주식 거래 AI 대회 Top 3% 성과

  • AI Agent 개발팀장으로 현재 활동 중

カリキュラム

全体

66件 ∙ (10時間 27分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

13件

4.7

13件の受講レビュー

  • sppagy님의 프로필 이미지
    sppagy

    受講レビュー 7

    平均評価 4.6

    5

    31% 受講後に作成

    ドッカー初心者でも簡単にフォローできます。

    • danielyouk
      知識共有者

      SPAGGYさん、ありがとうございました。 これからも良い講義で探してお会いしましょう😀 そして、いつでも授業内容に関連する内容について質問を残していただければ、できるだけ簡単かつ誠実に回答いたします。

  • namhee7912175111님의 프로필 이미지
    namhee7912175111

    受講レビュー 1

    平均評価 5.0

    5

    8% 受講後に作成

    データ分析に必要なドッカー講義を検索して講義を聞くようになりました〜 もともと関心があった分野なのにまさに漢講義が見えなかったのにmlopsのためのとても良い講義ですね!講義はドッカーだけでなく、Linuxシステムそしてクラウドまで全体を扱っていますね! まだ最後まで聞いていませんが、難易度も少しありますが、十分に従うことができ、実務に適用してみることができると思います〜

    • danielyouk
      知識共有者

      退屈なペンギン! IDでもセンスがあふれますね。 mlopsは何ですか?少しのクラウド、ドッカーコンテナ、そして可能であれば旗をある程度できれば、現業者はすでにmlopsの専門家です^^;ぜひこれからの実務でも学習内容がつながって良い成果がありますように。

  • sungcheolkim787064님의 프로필 이미지
    sungcheolkim787064

    受講レビュー 1

    平均評価 5.0

    5

    10% 受講後に作成

    まずは良い講義を作ってくれてありがとう。もう少しアドバンスドセッティングで説明をしていただき、講義を聞く中、単純な知識だけでなく根本的な問題解決のため良い洞察力を得ることができました。多くの機能で混乱しやすい状況でどのように中心をとるのかが分かりました。出てくる講義も期待になります。

    • danielyouk
      知識共有者

      大手な仕事をしていますね。講義が役に立ったとは感謝しています。講義内容を実戦で直接使ってみることができればかっこいいと思います。もし実戦に適用した成功事例を共有していただければ知識の好循環になりそうです。ありがとうございます。

  • snyouk3547님의 프로필 이미지
    snyouk3547

    受講レビュー 4

    平均評価 5.0

    5

    43% 受講後に作成

    実戦みたいな講義ですね。実際の業務環境でドッカーをどのように活用できるか実用的な例とヒントを提供し、講義の数が多いのに週末に没頭して聞いた。次に別の講義が上がったらまた聞きます。

    • danielyouk
      知識共有者

      講義が役に立ったのはとても幸いです。講義をできるだけ本番と同じように整理しようとしました。次の講義の時にお会いしましょう。必要な場合はメールでもご連絡いただければ、私が追加でサポートできるものがあればできるだけお手伝いさせていただきます。

  • hakjuknu4522님의 프로필 이미지
    hakjuknu4522

    受講レビュー 155

    平均評価 5.0

    5

    17% 受講後に作成

    大!

    ¥9,046

    danielyoukの他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!