강의

멘토링

커뮤니티

BEST
Programming

/

Devops & Infra

実戦ドッカー:ドッカーで自分だけのディープラーニングクラウドコンピュータを作る

Docker を使用して、クラウドにディープラーニング分析環境を作成できます。 Google、MS などの管理する Docker イメージとクラウドを組み合わせることで、コンピューターで最新のディープラーニング分析方法を使用して作業を行うことができます。

  • danielyouk
도커
머신러닝
kaggle
rdp
외국계
Docker
Virtualization
Python
Deep Learning(DL)
mlops

学習した受講者のレビュー

受講後に得られること

  • Docker を使用して、Kaggle と同じデータ分析環境を構築する

  • ローカルで強力なコンピューティング パワーを持つクラウドに接続するさまざまな方法

  • クラウドの使用時にコストを最小限に抑える方法

  • Docker を理解するための Linux

  • IDE のコンテナ機能の使用 (VSCode、RStudio、Jupyter Notebook)

Docker + Cloud + Deep Learing = DevOps Data Scientist

ドッカープロジェクト実践中心の講義

  • Dockerコンテナを適用して、ローカル環境とAzureクラウドコンピュータに同じデータ分析環境に同期する

  • 軽い分析はローカルコンピュータで行われます

  • リソースが必要な分析の場合は、クラウドコンピュータで行う


目に見える速度差(左:クラウド vs. 右:ローカル環境)

  • 定価の10% Spot Discount方式

  • 低コストでNVIDIA GPUクラウドコンピュータを使用する

  • クラウドコンピュータをチームのサーバーとして使用する場合、ドッカーコンテナで各チームメンバーの作業環境を完全に分離


講義の特徴

  • ダイナミックリンク機能を使用すると、授業後も関連資料をすばやく見つけることができます。

  • 授業資料の基本枠は維持

  • Linkは最新の資料に更新し、授業後も定期的に授業資料をダウンロードし、最新の情報にすばやくアクセスできるようにする

📖主なコンテンツ一覧

ドッカー命令学習

ドッカー命令をドッカーヘルプ機能を通じて理解し適用する方法を学びます。 (セクション 4)

  • docker run --help

  • chatgptを活用する

Azureで仮想マシンを作成する

Azure CloudにLinux仮想マシンを作成し、さまざまな方法でローカル環境とクラウド仮想マシンを接続します。 (セクション 6)

  • key 方式の ssh (secure shell)

  • gui 方式の rdp (remote desktop protocol)

  • Remote Tunnel ExtentionによるVS Code環境の接続

Pythonのためのドッカー

dev container VS Code extentionを活用してpython分析環境を作成する方法を学びます。 (セクション 7)

ドッカーイメージの作成と配布



dev containerとremote tunnel extentionを使用するpythonのためのDockerは、Dockerの基本的な文法を知らなくてもDockerを使用できるようにします。これは強力な利点ですが、ドッカーの文法をより深く理解できるように、kaggle R Docker Imageに追加の最新のRStudioをインストールするプロセスを実践しながら、次のことを説明します。 (セクション8)

  • COPYとADD

  • RUN命令による追加プログラムのインストール

  • ポート接続に愛情を込めて理解

  • CMDとENTRYPOINT

  • ARG

ファイル共有システムの設定


実践の目標であるローカル環境とクラウドを接続する場合、コンピューティング環境を接続するだけでは十分ではありません。学習の際には不快感がないように感じることもありますが、学習した知識を実際のプロジェクトに適用するためにはファイル共有システムの設定が不可欠です。以下の内容を扱います。 (セクション 11)

  • ADLS2( azure-data-lake-gen2 )の生成

  • blob mount方式でLinux仮想マシンにADLS2を接続する

  • blobfuse方式でWindows環境にADLS2を接続する

  • Microsoft Azure Storage Explorerを介したWindows、MAC環境でADLS2ディレクトリにアクセスする

Docker ComposeとADLS2を使用してパーソナルPCでスパーク分析環境を構成することについて説明します。 (セクション 11)

  • ドッカーコンフォーズの概念的理解

  • ドッカーコンテナへのADLS2直接接続

  • PySpark分析環境の設定

真の仮想化の実装


Dockerの目標である真のContainerizationをAzure CloudのLinux Server仮想マシンに実装します。 (セクション 12)

サーバー管理者と多数のユーザーを作成し、誰もが共同のDocker Imageを共有し、各Docker Container環境を完全に分離するプロセスをシミュレートします。これは mlops の中核となります。

授業で使用するツールとハードウェア条件

  • Visual Studio Codeを使用する

  • GPU設定はクラウドのLinux仮想マシンに適用され、ローカル環境で接続

  • ローカル環境はWindows、Linux、MAC どんな環境でもプロジェクト進行が可能

受講後は何ができますか?

  • ドッカーを活用したプロジェクトに対する自信

  • クラウドやLinuxへの負担感の脱皮

  • GPUベースの高仕様コンピュータを1ヶ月10ドル内外の価格で利用可能

質問がありますか?

Q. ローカル環境にGPUが必要ですか?

ローカル環境とクラウドで同じGPUベースのデータ分析環境を構成することは、ローカル環境にGPUが必要であるということではありません。

GPU設定がされていない場合は、CPU基準の分析環境に設定されます。

Q. どのオペレーティングシステムで最終結果を作成できますか?

ローカル環境のオペレーティングシステムがWindowsであれLinuxであれ、MACであれ、どんな場合でも練習を進めることができます。

ローカル環境のオペレーティングシステムに関係なく、ローカル環境からLinuxクラウドコンピュータに接続します。

Q. 私はpythonユーザーです。講義にはR関連のセクションがありますが、R関連の内容も学習する必要がありますか?

クラスを聞くと感じることができますが、VS Codeのdev container extentionを使用すると、pythonドッカーコンテナを作成するプロセスがとても簡単になります。実際、このような簡単さのためにドッカー文法を習得しなければならない目標では、もう少し遠くなることがあります。たとえば、ほとんどのドッカークラスで強調するボリュームマウントを適用しなくても、dev containerは自動的にボリュームマウントプロセスを実行します。

それで、受講生がドッカーの文法を学ぶのに役立つように、意図的にRセクションも含めました。多くのドッカー講義では、nodejsのようなエプベースのapplicationを基本ベースとしていますが、データエンジニアやサイエンティストの方々ができるだけ簡単にアクセスできるようにデータファンデーションのケースを含めようとRセクションを含めました。

Rを学習するためのセクションとして理解するのではなく、ドッカーの文法をしっかり身につけるための授業コースとして理解してください。

Q. クラウド使用コストはどの程度が適切ですか?

練習に使用されるモデルの場合、Spot Discountオプションを適用すると、1ヶ月10ドル程度の費用(1日3時間程度使用の場合)が発生します。

実際のプロジェクトで高仕様の仮想マシンを構築すると、追加のコストが発生する可能性があります。

Q. 選手の知識が必要ですか?

講義に選手の知識は必要ありません。

選手の知識は想定していませんが、講義の難易度もそれ自体は容易ではありません。しかし、講義のさまざまなセクションで内容が繰り返され、深化するように構成しました。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 実用的に Docker を学びたいデータ エンジニア、サイエンティスト、アナリスト

  • 実戦を通じて Docker を学びたい開発者およびエンジニア

  • 実際のクラウド ポートフォリオが必要な方

こんにちは
です。

626

受講生

66

受講レビュー

74

回答

4.8

講座評価

7

講座

  • LLM 기반 AI 기업에서 Pod Lead로 활동

  • 서울대학교 기계항공 공학부 졸업

  • 유럽 소재 대학원에서 기계항공공학 석사

  • 독일 소재 공학 연구기관에서 박사 과정 연구 수행

  • 유럽 대형 에너지 기업에서 Senior Data Scientist 경험

  • 영국 소재 에너지 컨설팅 기업에서 Senior Consultant 활동

  • Databricks 기반 데이터 엔지니어링 프로젝트 수행

  • Kaggle 주식 거래 AI 대회 Top 3% 성과

  • AI Agent 개발팀장으로 현재 활동 중

カリキュラム

全体

66件 ∙ (10時間 27分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

14件

4.7

14件の受講レビュー

  • sppagy님의 프로필 이미지
    sppagy

    受講レビュー 8

    平均評価 4.5

    5

    31% 受講後に作成

    Even Docker beginners can easily follow along.

    • danielyouk
      知識共有者

      Thank you for your review, SPAGGY. I will continue to come back with good lectures 😀 And if you have any questions about the class content at any time, I will answer them as easily and sincerely as possible.

  • namhee7912175111님의 프로필 이미지
    namhee7912175111

    受講レビュー 1

    平均評価 5.0

    5

    8% 受講後に作成

    I searched for Docker lectures necessary for data analysis and ended up taking the lecture. It was a field I was originally interested in, but I couldn't find any suitable lectures. This is a great lecture for mlops! The lecture covers not only Docker, but also the Linux system and the cloud! I haven't finished listening to it yet, but it's a bit difficult, but I think I can follow it well and apply it to my work.

    • danielyouk
      知識共有者

      Bored penguin! Your ID is full of sense. What's so special about mlops? If you can do a little bit of cloud, docker containers, and if possible, git, you are already an mlops expert^^; I hope that the learning content will be connected to your future work and that you will have good results.

  • sungcheolkim787064님의 프로필 이미지
    sungcheolkim787064

    受講レビュー 1

    平均評価 5.0

    5

    10% 受講後に作成

    First of all, thank you for making a great lecture. I am a researcher and practitioner in the ML/AI field, and I was looking for a good lecture related to MLOps and came across this lecture. There are easier lectures on Docker, but this lecture explains it in a more advanced setting, so I was able to gain good insight for fundamental problem solving as well as simple knowledge while listening to the lecture. At the same time, each lecture is broken down into simple contents, so I was able to naturally move on to more difficult contents and learn them. Above all, based on the know-how gained from working in the actual industry, the key points are well organized, so I learned how to keep the focus in situations where it is easy to get confused by too many functions. I am looking forward to the lectures that will come out after this one. Thank you.

    • danielyouk
      知識共有者

      You are doing a leading job. I am grateful that the lecture was helpful. It would be great if you could apply the lecture content directly in the field. If you could share a successful case of applying it in the field, it would be a virtuous cycle of knowledge. Thank you.

  • snyouk3547님의 프로필 이미지
    snyouk3547

    受講レビュー 4

    平均評価 5.0

    5

    43% 受講後に作成

    This is a lecture that feels like a real-life situation. It provides practical examples and tips on how to use Docker in a real work environment, so I was able to listen to it all weekend even though there were many lectures. I will listen to it again when another lecture is uploaded.

    • danielyouk
      知識共有者

      I am so glad that the lecture was helpful. I tried to make the lecture as similar to the actual situation as possible. I will see you in the next lecture. If you need anything, please contact me by email and I will do my best to help you if I can provide any additional support.

  • hakjuknu님의 프로필 이미지
    hakjuknu

    受講レビュー 155

    平均評価 5.0

    5

    17% 受講後に作成

    great!

    ¥9,530

    danielyoukの他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!