강의

멘토링

로드맵

BEST
Programming

/

Devops & Infra

実戦ドッカー:ドッカーで自分だけのディープラーニングクラウドコンピュータを作る

Docker を使用して、クラウドにディープラーニング分析環境を作成できます。 Google、MS などの管理する Docker イメージとクラウドを組み合わせることで、コンピューターで最新のディープラーニング分析方法を使用して作業を行うことができます。

  • danielyouk
도커
머신러닝
kaggle
rdp
외국계
Docker
Virtualization
Python
Deep Learning(DL)
mlops

学習した受講者のレビュー

こんなことが学べます

  • Docker を使用して、Kaggle と同じデータ分析環境を構築する

  • ローカルで強力なコンピューティング パワーを持つクラウドに接続するさまざまな方法

  • クラウドの使用時にコストを最小限に抑える方法

  • Docker を理解するための Linux

  • IDE のコンテナ機能の使用 (VSCode、RStudio、Jupyter Notebook)

Docker + Cloud + Deep Learing = DevOps Data Scientist

ドッカープロジェクト実践中心の講義

  • Dockerコンテナを適用して、ローカル環境とAzureクラウドコンピュータに同じデータ分析環境に同期する

  • 軽い分析はローカルコンピュータで行われます

  • リソースが必要な分析の場合は、クラウドコンピュータで行う


目に見える速度差(左:クラウド vs. 右:ローカル環境)

  • 定価の10% Spot Discount方式

  • 低コストでNVIDIA GPUクラウドコンピュータを使用する

  • クラウドコンピュータをチームのサーバーとして使用する場合、ドッカーコンテナで各チームメンバーの作業環境を完全に分離


講義の特徴

  • ダイナミックリンク機能を使用すると、授業後も関連資料をすばやく見つけることができます。

  • 授業資料の基本枠は維持

  • Linkは最新の資料に更新し、授業後も定期的に授業資料をダウンロードし、最新の情報にすばやくアクセスできるようにする

📖主なコンテンツ一覧

ドッカー命令学習

ドッカー命令をドッカーヘルプ機能を通じて理解し適用する方法を学びます。 (セクション 4)

  • docker run --help

  • chatgptを活用する

Azureで仮想マシンを作成する

Azure CloudにLinux仮想マシンを作成し、さまざまな方法でローカル環境とクラウド仮想マシンを接続します。 (セクション 6)

  • key 方式の ssh (secure shell)

  • gui 方式の rdp (remote desktop protocol)

  • Remote Tunnel ExtentionによるVS Code環境の接続

Pythonのためのドッカー

dev container VS Code extentionを活用してpython分析環境を作成する方法を学びます。 (セクション 7)

ドッカーイメージの作成と配布



dev containerとremote tunnel extentionを使用するpythonのためのDockerは、Dockerの基本的な文法を知らなくてもDockerを使用できるようにします。これは強力な利点ですが、ドッカーの文法をより深く理解できるように、kaggle R Docker Imageに追加の最新のRStudioをインストールするプロセスを実践しながら、次のことを説明します。 (セクション8)

  • COPYとADD

  • RUN命令による追加プログラムのインストール

  • ポート接続に愛情を込めて理解

  • CMDとENTRYPOINT

  • ARG

ファイル共有システムの設定


実践の目標であるローカル環境とクラウドを接続する場合、コンピューティング環境を接続するだけでは十分ではありません。学習の際には不快感がないように感じることもありますが、学習した知識を実際のプロジェクトに適用するためにはファイル共有システムの設定が不可欠です。以下の内容を扱います。 (セクション 11)

  • ADLS2( azure-data-lake-gen2 )の生成

  • blob mount方式でLinux仮想マシンにADLS2を接続する

  • blobfuse方式でWindows環境にADLS2を接続する

  • Microsoft Azure Storage Explorerを介したWindows、MAC環境でADLS2ディレクトリにアクセスする

Docker ComposeとADLS2を使用してパーソナルPCでスパーク分析環境を構成することについて説明します。 (セクション 11)

  • ドッカーコンフォーズの概念的理解

  • ドッカーコンテナへのADLS2直接接続

  • PySpark分析環境の設定

真の仮想化の実装


Dockerの目標である真のContainerizationをAzure CloudのLinux Server仮想マシンに実装します。 (セクション 12)

サーバー管理者と多数のユーザーを作成し、誰もが共同のDocker Imageを共有し、各Docker Container環境を完全に分離するプロセスをシミュレートします。これは mlops の中核となります。

授業で使用するツールとハードウェア条件

  • Visual Studio Codeを使用する

  • GPU設定はクラウドのLinux仮想マシンに適用され、ローカル環境で接続

  • ローカル環境はWindows、Linux、MAC どんな環境でもプロジェクト進行が可能

受講後は何ができますか?

  • ドッカーを活用したプロジェクトに対する自信

  • クラウドやLinuxへの負担感の脱皮

  • GPUベースの高仕様コンピュータを1ヶ月10ドル内外の価格で利用可能

質問がありますか?

Q. ローカル環境にGPUが必要ですか?

ローカル環境とクラウドで同じGPUベースのデータ分析環境を構成することは、ローカル環境にGPUが必要であるということではありません。

GPU設定がされていない場合は、CPU基準の分析環境に設定されます。

Q. どのオペレーティングシステムで最終結果を作成できますか?

ローカル環境のオペレーティングシステムがWindowsであれLinuxであれ、MACであれ、どんな場合でも練習を進めることができます。

ローカル環境のオペレーティングシステムに関係なく、ローカル環境からLinuxクラウドコンピュータに接続します。

Q. 私はpythonユーザーです。講義にはR関連のセクションがありますが、R関連の内容も学習する必要がありますか?

クラスを聞くと感じることができますが、VS Codeのdev container extentionを使用すると、pythonドッカーコンテナを作成するプロセスがとても簡単になります。実際、このような簡単さのためにドッカー文法を習得しなければならない目標では、もう少し遠くなることがあります。たとえば、ほとんどのドッカークラスで強調するボリュームマウントを適用しなくても、dev containerは自動的にボリュームマウントプロセスを実行します。

それで、受講生がドッカーの文法を学ぶのに役立つように、意図的にRセクションも含めました。多くのドッカー講義では、nodejsのようなエプベースのapplicationを基本ベースとしていますが、データエンジニアやサイエンティストの方々ができるだけ簡単にアクセスできるようにデータファンデーションのケースを含めようとRセクションを含めました。

Rを学習するためのセクションとして理解するのではなく、ドッカーの文法をしっかり身につけるための授業コースとして理解してください。

Q. クラウド使用コストはどの程度が適切ですか?

練習に使用されるモデルの場合、Spot Discountオプションを適用すると、1ヶ月10ドル程度の費用(1日3時間程度使用の場合)が発生します。

実際のプロジェクトで高仕様の仮想マシンを構築すると、追加のコストが発生する可能性があります。

Q. 選手の知識が必要ですか?

講義に選手の知識は必要ありません。

選手の知識は想定していませんが、講義の難易度もそれ自体は容易ではありません。しかし、講義のさまざまなセクションで内容が繰り返され、深化するように構成しました。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 実用的に Docker を学びたいデータ エンジニア、サイエンティスト、アナリスト

  • 実戦を通じて Docker を学びたい開発者およびエンジニア

  • 実際のクラウド ポートフォリオが必要な方

こんにちは
です。

617

受講生

63

受講レビュー

74

回答

4.8

講座評価

7

講座

  • LLM 기반 AI 기업에서 Pod Lead로 활동

  • 서울대학교 기계항공 공학부 졸업

  • 유럽 소재 대학원에서 기계항공공학 석사

  • 독일 소재 공학 연구기관에서 박사 과정 연구 수행

  • 유럽 대형 에너지 기업에서 Senior Data Scientist 경험

  • 영국 소재 에너지 컨설팅 기업에서 Senior Consultant 활동

  • Databricks 기반 데이터 엔지니어링 프로젝트 수행

  • Kaggle 주식 거래 AI 대회 Top 3% 성과

  • AI Agent 개발팀장으로 현재 활동 중

カリキュラム

全体

66件 ∙ (10時間 27分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

13件

4.7

13件の受講レビュー

  • SPAGGY님의 프로필 이미지
    SPAGGY

    受講レビュー 8

    平均評価 4.5

    5

    31% 受講後に作成

    도커 초보자도 쉽게 따라 할 수 있습니다.

    • 다니엘
      知識共有者

      SPAGGY님 수강평 감사합니다. 앞으로도 좋은 강의로 찾아 뵐께요😀 그리고 언제든 수업 내용과 관련된 내용에 대해서 질문 남겨 주시면 최대한 쉽고 성실하게 답변 하겠습니다.

  • 심심한 펭귄님의 프로필 이미지
    심심한 펭귄

    受講レビュー 1

    平均評価 5.0

    5

    8% 受講後に作成

    데이터 분석에 필요한 도커 강의를 검색해서 강의를 듣게되었어요~원래부터 관심이 있던 분야인데 마땅한강의가 안보였었는데 mlops를 위한 너무 좋은 강의네요! 강의는 도커 뿐 아니라 리눅스 시스템 그리고 클라우드까지 전체를 다루고 있네요! 아직 끝까지 듣지못했지만 난이도도 좀 있지만 충분히 따라갈수있고 실무에 적용해볼수있을거같아요~

    • 다니엘
      知識共有者

      심심한 펭귄님! 아이디에서도 센스가 넘치시네요. mlops가 뭐 별건가요? 약간의 클라우드, 도커 컨테이너, 그리고 가능하다면 깃을 어느 정도 할 수 있으면 현업자분들은 이미 mlops 전문가세요^^; 꼭 앞으로의 실무에서도 학습 내용이 연결 되어서 좋은 성과 있길 바랍니다.

  • Sung Cheol Kim님의 프로필 이미지
    Sung Cheol Kim

    受講レビュー 1

    平均評価 5.0

    5

    10% 受講後に作成

    우선 좋은 강의를 만들어 주셔서 감사합니다. 저는 ML/AI 쪽으로 연구 및 실무를 하는 사람인데, MLOps와 관련해서 좋은 강의를 찾다가 이 강의를 듣게 되었습니다. Docker에 관해서는 좀 더 쉬운 강의도 있지만, 이 강의에서는 조금더 어드밴스드 셋팅에서 설명을 해 주셔서 강의 듣는 내내, 단순 지식 뿐 아니라 근본적인 문제 해결을 위한 좋은 통찰력을 얻을 수 있었습니다. 동시에 각각의 강의는 간단한 내용으로 작게 세분해 주셔서 자연스럽게 조금씩 어려운 내용들로 나아가며 익힐 수 있었습니다. 무엇보다 실제 업계에서 일하시면서 얻은 노하우를 바탕으로 핵심 꼭지들을 잘 정리해 주셔서 자칫 너무 많은 기능들로 헷갈리기 쉬운 상황에서 어떻게 중심을 잡을지도 알게 되었습니다. 이 이후로 나올 강의들도 기대가 됩니다. 감사합니다.

    • 다니엘
      知識共有者

      선도적인 일을 하시네요. 강의가 도움이 되었다니 감사한 마음이 듭니다. 강의 내용을 실전에서 직접 사용해 보실 수 있으면 근사할 것 같습니다. 만약 실전에 적용한 성공 사례를 공유해 주시면 지식의 선순환이 될 것 같습니다. 감사합니다.

  • impact님의 프로필 이미지
    impact

    受講レビュー 4

    平均評価 5.0

    5

    43% 受講後に作成

    실전 같은 강의네요. 실제 업무 환경에서 도커를 어떻게 활용할 수 있는지 실질적인 예시와 팁을 제공하여 강의 개수가 많은데도 주말 동안 몰입해서 들었습니다. 다음에 다른 강의 올라오면 또 듣겠습니다.

    • 다니엘
      知識共有者

      강의가 도움이 되었다니 너무 다행입니다. 강의를 최대한 실전과 동일한 방식으로 구성하려고 했습니다. 다음 강의 때 뵙겠습니다. 필요하신 경우 메일로도 연락을 주시면 제가 추가적으로 지원할 수 있는 것이 있으면 최대한 도와 드리도록 하겠습니다.

  • hakjuknu님의 프로필 이미지
    hakjuknu

    受講レビュー 155

    平均評価 5.0

    5

    17% 受講後に作成

    great!

    ¥9,352

    danielyoukの他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!