강의

멘토링

커뮤니티

AI Technology

/

Deep Learning & Machine Learning

[PyTorch] 簡単に素早く学ぶディープラーニング

MLP、CNN、RNNなど、ディープラーニングの基本的な骨組みを簡単に素早く学びます。

難易度 中級以上

受講期間 無制限

  • coco
Deep Learning(DL)
Deep Learning(DL)
Artificial Neural Network
Artificial Neural Network
PyTorch
PyTorch
Deep Learning(DL)
Deep Learning(DL)
Artificial Neural Network
Artificial Neural Network
PyTorch
PyTorch

学習した受講者のレビュー

学習した受講者のレビュー

4.2

5.0

crteeaa

91% 受講後に作成

質の良い講義ありがとうございます! ディープラーニングに関する基礎的な知識を築き、ディープラーニング関連の分野がどのようなものかを理解するのに役立ちました。 講義アップデートしていただくのもいいですね。まだ難しいですが、もう少し勉強してみましょう。

5.0

groov

60% 受講後に作成

難しいですが、講義はよく聞きました。

5.0

최상훈(원주학부학생/보건과학대학

58% 受講後に作成

簡単に明確です。

受講後に得られること

  • PyTorch 基本テクニック

  • ニューラルネットワークに関する知識

  • ディープラーニングの基本知識

  • CNN、RNN の概念

  • Pytorch を使用してディープラーニング モデルを設計する方法

  • CNN(ResNet) を使用した cifar10 画像分類モデルの構築

  • RNN を活用した映画レビュー予測モデルの構築

  • 転移学習/オートエンコーダー/ディープラーニング論文レビュー

  • モデルの一般化

🙆🏻‍♀ディープラーニングの基本的な骨格であるMLPからCNN、RNNまで簡単かつ迅速に学びます。

Inflearnで講義した内容をまとめ、「Pythonディープラーニングパイトーチ」という本で出版しました。

多くの興味をお願いします :)

(2020.10.06 基準 Inflearn 講義更新されました。継続的な講義更新をさせていただきます)

http://m.yes24.com/Goods/Detail/93376077?ozsrank=10

http://mbook.interpark.com/shop/product/detail?prdNo=339742291&is1=book&is2=product

PyTorchで簡単かつ迅速に学習するディープラーニング

🗒講義アップデート

- PyTorchに慣れていない人のためにPyTorch background講義(1時間ほど)を追加しました。

- 論文レビュー講義(1時間)を追加しました。


🗒講義紹介

最近話している人工知能は、ほとんどディープラーニングモデルを活用しています。ディープラーニングの基礎となるニューラルネットワークは新しいアルゴリズムではありません。以前から存在してきたアルゴリズムですが、学習の特性上あまり使われませんでした。この基本的な neural network から始めて、なぜディープラーニングが浮かび始め、ディープラーニングの特徴が何なのか、さらに基本的なディープラーニングモデルと呼ばれる convolution neural network, recurrent neural network について学習します。

🌈 Multi Layer Perceptron(MLP)

最初の人工知能と呼ばれるperceptronとperceptronの限界点、そしてこれを克服したMLPについて学びます。

MLPはneural networkの基本構造と見なすことができます。 MLPの学習アルゴリズムを次々とお知らせします。

Feed forwardとback propagationについて話し、長所と短所について話します。

🌈 Deep Learning の定義

ディープラーニングの定義は何であり、一般的なニューラルネットワークとは何が違うのかを集中的に学びます。

NNの欠点であるgradient vanishing/overfitting問題を緩和できるactivation function、drop out、Batch normalizationについて取り上げます。

さらに、単に分類することはできませんが、新しい機能について学ぶことができるAuto-Encoderについても説明します。

🌈 Convolutional Neural Network (CNN)

ディープラーニングの歴史を見たとき、最も発展したモデルがこのCNNモデルではないかと思います。イメージ分類から始まり、膨大な発展を遂げてきたCNNモデルについて取り上げます。学習アルゴリズムの特性について話し、一般的なNNとの違いについて説明します。

さらに、CNNのパフォーマンスを向上させるためのさまざまなアーキテクチャ(Resnet、Densenet)、初期化、オプティマイザ技術、および transfer learning についても話します。

🌈 Recurrent Neural Network (RNN)

テキストモデル(Language model)の基礎モデルであるRNNとLSTMについて説明します。

🌈ディープラーニングのさまざまな分野

ディープラーニングが使われるさまざまな分野について話します。

🌈ディープラーニングの一般化

ディープラーニング、機械学習などのGeneralizationは、AI全体的に非常に大きな問題です。まだ解決されていない難題です。そこでこれを解決するための様々な研究が進んできています。このジェネリゼーションに関するさまざまな研究についても紹介します。

従来の Generlization 性能は Training error - Eest error で計算してきました。学習データの性能とテストデータの性能が似ていれば似ているほど良いと考えられてきたからです。ところがこの既存の通念を破る研究結果が出てきてディープラーニングは学習をするのではなく「覚えることだ」と論文の著者たちは主張します。

  • Understanding deep learning requires rethinking generalization

CNNは画像分類で非常に効果的なモデルであることは誰でも知っているという事実です。 Graphical Representation Learning でイメージの特徴をよく捉えるからです。ところで、このCNNがイメージのShapeを学習させるのではなく、テクスチャを学習させるものであるという研究結果があります。この論文は単行の数式もなく、ただ実験結果だけを持ってAI Top ConferenceであるICLRにOralで Acceptされた論文です。非常に非常に学術的価値が高いという話です。

  • ImageNET-Trained CNNS Are Biased Towards Texture

人間とディープラーニングがGeneralizationには何らかの違いがあり、どのようにすればディープラーニングが人間と同様にGeneralizationできるのかに関する論文を紹介します。

  • Generalisation in humans and deep neural networks

画像分類のパフォーマンスを向上させ、一般化に対するパフォーマンスを向上させるための最も基本的な方法がData augmentationです。さらに、先生が学生に知識を伝える概念であるKnowledge Distillationの概念についても紹介します。

  • Cutout/Cutmix, Knowledge Distillation

「少女」のイメージをGirlで学ぶのは正しいでしょうか?それとも、Womanで学習するのが正しいのでしょうか?このような方法はLabel Softeningと呼ばれ、Knowledge Distillationを利用してlabel softeningを進行することもあります。これらの方法を用いて Regularization する研究を紹介します。

  • Regularizing Class-wise Predictions via Self-knowledge Distillation

🌈その他 読みやすい論文レビュー

読みやすい簡単で良い論文のいくつかをレビューします!

論文レビューは引き続き更新される予定です!

象の写真に少しのノイズを加えると、人間の目には象のように見えますが、ディープラーニングはKoalaとして予測されます。ノイズを通じてディープラーニングを欺く分野が生まれ、関連研究が多く登場しましたが、そのうちの1つのノイズだけを追加すればほぼすべてのイメージをディープラーニングがうまく合わせることができるという研究があり、紹介します。

  • Universal Perturbation

ディープラーニングのモデル構造は、単純な問題には単純なモデル複雑な問題には複雑なモデルを持たなければならないことが知られています。これに関して、ディープラーニングのモデルサイズと学習エポック数とオーバーフィッティングの関係について研究した論文があります。

  • Deep Double Descent

下の図では、4つの絵はすべて「子犬」であることがわかります。しかし、すべてが異なるスタイルを持っています。 CNNは、あるドメインの子犬を学習しても、他のドメインの子犬を合わせることはできません。学習データとテストデータが同じ分布にあるという仮定があるからです。複数のドメインについて Generalization を Domain Generalization といい、これに関する研究を紹介します。

  • Domain Generalization With MixStyle

🙋🏻‍♂️講義に関する予想される質問

Q. 数学的な知識がたくさん必要ですか?
A. MLP部分で少し必要ですが、なくても全体的な講義を聞くには支障がありません。

Q. pythonを扱うことを知っておくべきですか?
A. はい、私はpythonをある程度知っているという前提でクラスを進めます。ただし、ディープラーニングのためのPyTorchテクニックも1時間ほど取り上げています。

Q. どの論文をレビューしますか?
A. ディープラーニングについて読みやすく、寄与度が非常に高い論文を主にレビューします。新しい良い論文を発見するたびに、論文レビュー映像を追加する予定です。

実習知識共有者紹介

🙆🏻‍♀ Justin

- 延世大産業工学科修士課程

- DataScience/ディープラーニング研究

- https://github.com/Justin-A

こんな方に
おすすめです

学習対象は
誰でしょう?

  • ディープラーニングを学びたい方

  • NeuralNetworkの基礎を確実に学びたい方

  • ディープラーニングの基本理論から発展する分野まで知りたい方

前提知識、
必要でしょうか?

  • pythonの基本知識

  • 機械学習の基本知識

こんにちは
です。

8,388

受講生

509

受講レビュー

136

回答

4.4

講座評価

20

講座

学部では統計学を専攻し、産業工学(人工知能)の博士号を取得して今もなお勉強中の無職です。

受賞

ㆍ 第6回ビッグコンテスト ゲームユーザー離脱アルゴリズム開発 / NCソフト賞(2018)

ㆍ 第5回ビッグコンテスト 住宅ローン延滞者予測アルゴリズム開発 / 韓国情報通信振興協会長賞(2017)

ㆍ 2016 気象ビッグデータコンテスト / 気象産業振興院長賞(2016)

ㆍ 第4回ビッグコンテスト 保険詐欺予測アルゴリズム開発 / 本選進出(2016)

ㆍ 第3回ビッグコンテスト 野球試合予測アルゴリズム開発 / 未来創造科学部 長官賞(2015)

* blog : https://bluediary8.tistory.com

主に研究している分野は、データサイエンス、強化学習、ディープラーニングです。

クローリングとテキストマイニングは、現在は趣味でやっています :)

クローリングを利用して、人気のコミュニティ投稿だけを収集して表示する「マロン」というアプリを開発し、

全国のグルメ店リストとブログを収集して、グルメ推薦アプリも作りましたね :) (見事に大失敗しましたが..)

現在は人工知能を研究している博士課程の学生です。

カリキュラム

全体

43件 ∙ (11時間 41分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

19件

4.2

19件の受講レビュー

  • crteeaa3491님의 프로필 이미지
    crteeaa3491

    受講レビュー 2

    平均評価 5.0

    5

    91% 受講後に作成

    質の良い講義ありがとうございます! ディープラーニングに関する基礎的な知識を築き、ディープラーニング関連の分野がどのようなものかを理解するのに役立ちました。 講義アップデートしていただくのもいいですね。まだ難しいですが、もう少し勉強してみましょう。

    • groovallstar0998님의 프로필 이미지
      groovallstar0998

      受講レビュー 2

      平均評価 3.0

      5

      60% 受講後に作成

      難しいですが、講義はよく聞きました。

      • jeongjihye88101242님의 프로필 이미지
        jeongjihye88101242

        受講レビュー 7

        平均評価 4.3

        4

        67% 受講後に作成

        親切に教えてくれてありがとうございますㅎㅎㅎ たくさん助けてくれましたㅎㅎ

        • ysch89120542님의 프로필 이미지
          ysch89120542

          受講レビュー 1

          平均評価 4.0

          4

          51% 受講後に作成

          '簡単で高速'という修飾語をつけていますが、川の内容をしっかりと見てみると容易ではありません。ディープラーニングはこんなものだと見ている講義ではありません。代わりに、少しでもさらに抜けずに情報を提供しようと努力した跡があちこちに見える講義です。ご準備いただいたココ様の努力に感謝します。

          • 20152511612438님의 프로필 이미지
            20152511612438

            受講レビュー 1

            平均評価 5.0

            5

            58% 受講後に作成

            簡単に明確です。

            ¥10,117

            cocoの他の講座

            知識共有者の他の講座を見てみましょう!

            似ている講座

            同じ分野の他の講座を見てみましょう!