[PyTorch] 簡単に素早く学ぶディープラーニング

🙆🏻‍♀ディープラーニングの基本的な骨格であるMLPからCNN、RNNまで簡単かつ迅速に学びます。

Inflearnで講義した内容をまとめ、「Pythonディープラーニングパイトーチ」という本で出版しました。

多くの興味をお願いします :)

(2020.10.06 基準 Inflearn 講義更新されました。継続的な講義更新をさせていただきます)

http://m.yes24.com/Goods/Detail/93376077?ozsrank=10

http://mbook.interpark.com/shop/product/detail?prdNo=339742291&is1=book&is2=product

PyTorchで簡単かつ迅速に学習するディープラーニング

🗒講義アップデート

- PyTorchに慣れていない人のためにPyTorch background講義（1時間ほど）を追加しました。

- 論文レビュー講義（1時間）を追加しました。

🗒講義紹介

最近話している人工知能は、ほとんどディープラーニングモデルを活用しています。ディープラーニングの基礎となるニューラルネットワークは新しいアルゴリズムではありません。以前から存在してきたアルゴリズムですが、学習の特性上あまり使われませんでした。この基本的な neural network から始めて、なぜディープラーニングが浮かび始め、ディープラーニングの特徴が何なのか、さらに基本的なディープラーニングモデルと呼ばれる convolution neural network, recurrent neural network について学習します。

🌈 Multi Layer Perceptron(MLP)

最初の人工知能と呼ばれるperceptronとperceptronの限界点、そしてこれを克服したMLPについて学びます。

MLPはneural networkの基本構造と見なすことができます。 MLPの学習アルゴリズムを次々とお知らせします。

Feed forwardとback propagationについて話し、長所と短所について話します。

🌈 Deep Learning の定義

ディープラーニングの定義は何であり、一般的なニューラルネットワークとは何が違うのかを集中的に学びます。

NNの欠点であるgradient vanishing/overfitting問題を緩和できるactivation function、drop out、Batch normalizationについて取り上げます。

さらに、単に分類することはできませんが、新しい機能について学ぶことができるAuto-Encoderについても説明します。

🌈 Convolutional Neural Network (CNN)

ディープラーニングの歴史を見たとき、最も発展したモデルがこのCNNモデルではないかと思います。イメージ分類から始まり、膨大な発展を遂げてきたCNNモデルについて取り上げます。学習アルゴリズムの特性について話し、一般的なNNとの違いについて説明します。

さらに、CNNのパフォーマンスを向上させるためのさまざまなアーキテクチャ（Resnet、Densenet）、初期化、オプティマイザ技術、および transfer learning についても話します。

🌈 Recurrent Neural Network (RNN)

テキストモデル（Language model）の基礎モデルであるRNNとLSTMについて説明します。

🌈ディープラーニングのさまざまな分野

ディープラーニングが使われるさまざまな分野について話します。

🌈ディープラーニングの一般化

ディープラーニング、機械学習などのGeneralizationは、AI全体的に非常に大きな問題です。まだ解決されていない難題です。そこでこれを解決するための様々な研究が進んできています。このジェネリゼーションに関するさまざまな研究についても紹介します。

従来の Generlization 性能は Training error - Eest error で計算してきました。学習データの性能とテストデータの性能が似ていれば似ているほど良いと考えられてきたからです。ところがこの既存の通念を破る研究結果が出てきてディープラーニングは学習をするのではなく「覚えることだ」と論文の著者たちは主張します。

• Understanding deep learning requires rethinking generalization

CNNは画像分類で非常に効果的なモデルであることは誰でも知っているという事実です。 Graphical Representation Learning でイメージの特徴をよく捉えるからです。ところで、このCNNがイメージのShapeを学習させるのではなく、テクスチャを学習させるものであるという研究結果があります。この論文は単行の数式もなく、ただ実験結果だけを持ってAI Top ConferenceであるICLRにOralで Acceptされた論文です。非常に非常に学術的価値が高いという話です。

• ImageNET-Trained CNNS Are Biased Towards Texture

人間とディープラーニングがGeneralizationには何らかの違いがあり、どのようにすればディープラーニングが人間と同様にGeneralizationできるのかに関する論文を紹介します。

• Generalisation in humans and deep neural networks

画像分類のパフォーマンスを向上させ、一般化に対するパフォーマンスを向上させるための最も基本的な方法がData augmentationです。さらに、先生が学生に知識を伝える概念であるKnowledge Distillationの概念についても紹介します。

• Cutout/Cutmix, Knowledge Distillation

「少女」のイメージをGirlで学ぶのは正しいでしょうか？それとも、Womanで学習するのが正しいのでしょうか？このような方法はLabel Softeningと呼ばれ、Knowledge Distillationを利用してlabel softeningを進行することもあります。これらの方法を用いて Regularization する研究を紹介します。

• Regularizing Class-wise Predictions via Self-knowledge Distillation

🌈その他 読みやすい論文レビュー

読みやすい簡単で良い論文のいくつかをレビューします！

論文レビューは引き続き更新される予定です！

象の写真に少しのノイズを加えると、人間の目には象のように見えますが、ディープラーニングはKoalaとして予測されます。ノイズを通じてディープラーニングを欺く分野が生まれ、関連研究が多く登場しましたが、そのうちの1つのノイズだけを追加すればほぼすべてのイメージをディープラーニングがうまく合わせることができるという研究があり、紹介します。

• Universal Perturbation

ディープラーニングのモデル構造は、単純な問題には単純なモデル複雑な問題には複雑なモデルを持たなければならないことが知られています。これに関して、ディープラーニングのモデルサイズと学習エポック数とオーバーフィッティングの関係について研究した論文があります。

• Deep Double Descent

下の図では、4つの絵はすべて「子犬」であることがわかります。しかし、すべてが異なるスタイルを持っています。 CNNは、あるドメインの子犬を学習しても、他のドメインの子犬を合わせることはできません。学習データとテストデータが同じ分布にあるという仮定があるからです。複数のドメインについて Generalization を Domain Generalization といい、これに関する研究を紹介します。

• Domain Generalization With MixStyle

🙋🏻‍♂️講義に関する予想される質問

Q. 数学的な知識がたくさん必要ですか？
A. MLP部分で少し必要ですが、なくても全体的な講義を聞くには支障がありません。

Q. pythonを扱うことを知っておくべきですか？
A. はい、私はpythonをある程度知っているという前提でクラスを進めます。ただし、ディープラーニングのためのPyTorchテクニックも1時間ほど取り上げています。

Q. どの論文をレビューしますか？
A. ディープラーニングについて読みやすく、寄与度が非常に高い論文を主にレビューします。新しい良い論文を発見するたびに、論文レビュー映像を追加する予定です。

実習知識共有者紹介

🙆🏻‍♀ Justin

- 延世大産業工学科修士課程

- DataScience/ディープラーニング研究

- https://github.com/Justin-A