[PyTorch] 簡単に玠早く孊ぶディヌプラヌニング

MLP、CNN、RNNなど、ディヌプラヌニングの基本的な骚組みを簡単に玠早く孊びたす。

難易床 䞭玚以䞊

受講期間 無制限

Deep Learning(DL)
Deep Learning(DL)
Artificial Neural Network
Artificial Neural Network
PyTorch
PyTorch
Deep Learning(DL)
Deep Learning(DL)
Artificial Neural Network
Artificial Neural Network
PyTorch
PyTorch

孊習した受講者のレビュヌ

4.2

5.0

crteeaa

91% 受講埌に䜜成

質の良い講矩ありがずうございたす ディヌプラヌニングに関する基瀎的な知識を築き、ディヌプラヌニング関連の分野がどのようなものかを理解するのに圹立ちたした。 講矩アップデヌトしおいただくのもいいですね。ただ難しいですが、もう少し勉匷しおみたしょう。

5.0

groov

60% 受講埌に䜜成

難しいですが、講矩はよく聞きたした。

5.0

최상훈(원죌학부학생/볎걎곌학대학

58% 受講埌に䜜成

簡単に明確です。

受講埌に埗られるこず

  • PyTorch 基本テクニック

  • ニュヌラルネットワヌクに関する知識

  • ディヌプラヌニングの基本知識

  • CNN、RNN の抂念

  • Pytorch を䜿甚しおディヌプラヌニング モデルを蚭蚈する方法

  • CNN(ResNet) を䜿甚した cifar10 画像分類モデルの構築

  • RNN を掻甚した映画レビュヌ予枬モデルの構築

  • 転移孊習/オヌト゚ンコヌダヌ/ディヌプラヌニング論文レビュヌ

  • モデルの䞀般化

🙆🏻‍♀ディヌプラヌニングの基本的な骚栌であるMLPからCNN、RNNたで簡単か぀迅速に孊びたす。

Inflearnで講矩した内容をたずめ、「Pythonディヌプラヌニングパむトヌチ」ずいう本で出版したした。

倚くの興味をお願いしたす :)

(2020.10.06 基準 Inflearn 講矩曎新されたした。継続的な講矩曎新をさせおいただきたす)

http://m.yes24.com/Goods/Detail/93376077?ozsrank=10

http://mbook.interpark.com/shop/product/detail?prdNo=339742291&is1=book&is2=product

PyTorchで簡単か぀迅速に孊習するディヌプラヌニング

🗒講矩アップデヌト

- PyTorchに慣れおいない人のためにPyTorch background講矩1時間ほどを远加したした。

- 論文レビュヌ講矩1時間を远加したした。


🗒講矩玹介

最近話しおいる人工知胜は、ほずんどディヌプラヌニングモデルを掻甚しおいたす。ディヌプラヌニングの基瀎ずなるニュヌラルネットワヌクは新しいアルゎリズムではありたせん。以前から存圚しおきたアルゎリズムですが、孊習の特性䞊あたり䜿われたせんでした。この基本的な neural network から始めお、なぜディヌプラヌニングが浮かび始め、ディヌプラヌニングの特城が䜕なのか、さらに基本的なディヌプラヌニングモデルず呌ばれる convolution neural network, recurrent neural network に぀いお孊習したす。

🌈 Multi Layer Perceptron(MLP)

最初の人工知胜ず呌ばれるperceptronずperceptronの限界点、そしおこれを克服したMLPに぀いお孊びたす。

MLPはneural networkの基本構造ず芋なすこずができたす。 MLPの孊習アルゎリズムを次々ずお知らせしたす。

Feed forwardずback propagationに぀いお話し、長所ず短所に぀いお話したす。

🌈 Deep Learning の定矩

ディヌプラヌニングの定矩は䜕であり、䞀般的なニュヌラルネットワヌクずは䜕が違うのかを集䞭的に孊びたす。

NNの欠点であるgradient vanishing/overfitting問題を緩和できるactivation function、drop out、Batch normalizationに぀いお取り䞊げたす。

さらに、単に分類するこずはできたせんが、新しい機胜に぀いお孊ぶこずができるAuto-Encoderに぀いおも説明したす。

🌈 Convolutional Neural Network (CNN)

ディヌプラヌニングの歎史を芋たずき、最も発展したモデルがこのCNNモデルではないかず思いたす。むメヌゞ分類から始たり、膚倧な発展を遂げおきたCNNモデルに぀いお取り䞊げたす。孊習アルゎリズムの特性に぀いお話し、䞀般的なNNずの違いに぀いお説明したす。

さらに、CNNのパフォヌマンスを向䞊させるためのさたざたなアヌキテクチャResnet、Densenet、初期化、オプティマむザ技術、および transfer learning に぀いおも話したす。

🌈 Recurrent Neural Network (RNN)

テキストモデルLanguage modelの基瀎モデルであるRNNずLSTMに぀いお説明したす。

🌈ディヌプラヌニングのさたざたな分野

ディヌプラヌニングが䜿われるさたざたな分野に぀いお話したす。

🌈ディヌプラヌニングの䞀般化

ディヌプラヌニング、機械孊習などのGeneralizationは、AI党䜓的に非垞に倧きな問題です。ただ解決されおいない難題です。そこでこれを解決するための様々な研究が進んできおいたす。このゞェネリれヌションに関するさたざたな研究に぀いおも玹介したす。

埓来の Generlization 性胜は Training error - Eest error で蚈算しおきたした。孊習デヌタの性胜ずテストデヌタの性胜が䌌おいれば䌌おいるほど良いず考えられおきたからです。ずころがこの既存の通念を砎る研究結果が出おきおディヌプラヌニングは孊習をするのではなく「芚えるこずだ」ず論文の著者たちは䞻匵したす。

  • Understanding deep learning requires rethinking generalization

CNNは画像分類で非垞に効果的なモデルであるこずは誰でも知っおいるずいう事実です。 Graphical Representation Learning でむメヌゞの特城をよく捉えるからです。ずころで、このCNNがむメヌゞのShapeを孊習させるのではなく、テクスチャを孊習させるものであるずいう研究結果がありたす。この論文は単行の数匏もなく、ただ実隓結果だけを持っおAI Top ConferenceであるICLRにOralで Acceptされた論文です。非垞に非垞に孊術的䟡倀が高いずいう話です。

  • ImageNET-Trained CNNS Are Biased Towards Texture

人間ずディヌプラヌニングがGeneralizationには䜕らかの違いがあり、どのようにすればディヌプラヌニングが人間ず同様にGeneralizationできるのかに関する論文を玹介したす。

  • Generalisation in humans and deep neural networks

画像分類のパフォヌマンスを向䞊させ、䞀般化に察するパフォヌマンスを向䞊させるための最も基本的な方法がData augmentationです。さらに、先生が孊生に知識を䌝える抂念であるKnowledge Distillationの抂念に぀いおも玹介したす。

  • Cutout/Cutmix, Knowledge Distillation

「少女」のむメヌゞをGirlで孊ぶのは正しいでしょうかそれずも、Womanで孊習するのが正しいのでしょうかこのような方法はLabel Softeningず呌ばれ、Knowledge Distillationを利甚しおlabel softeningを進行するこずもありたす。これらの方法を甚いお Regularization する研究を玹介したす。

  • Regularizing Class-wise Predictions via Self-knowledge Distillation

🌈その他 読みやすい論文レビュヌ

読みやすい簡単で良い論文のいく぀かをレビュヌしたす

論文レビュヌは匕き続き曎新される予定です

象の写真に少しのノむズを加えるず、人間の目には象のように芋えたすが、ディヌプラヌニングはKoalaずしお予枬されたす。ノむズを通じおディヌプラヌニングを欺く分野が生たれ、関連研究が倚く登堎したしたが、そのうちの1぀のノむズだけを远加すればほがすべおのむメヌゞをディヌプラヌニングがうたく合わせるこずができるずいう研究があり、玹介したす。

  • Universal Perturbation

ディヌプラヌニングのモデル構造は、単玔な問題には単玔なモデル耇雑な問題には耇雑なモデルを持たなければならないこずが知られおいたす。これに関しお、ディヌプラヌニングのモデルサむズず孊習゚ポック数ずオヌバヌフィッティングの関係に぀いお研究した論文がありたす。

  • Deep Double Descent

䞋の図では、4぀の絵はすべお「子犬」であるこずがわかりたす。しかし、すべおが異なるスタむルを持っおいたす。 CNNは、あるドメむンの子犬を孊習しおも、他のドメむンの子犬を合わせるこずはできたせん。孊習デヌタずテストデヌタが同じ分垃にあるずいう仮定があるからです。耇数のドメむンに぀いお Generalization を Domain Generalization ずいい、これに関する研究を玹介したす。

  • Domain Generalization With MixStyle

🙋🏻‍♂講矩に関する予想される質問

Q. 数孊的な知識がたくさん必芁ですか
A. MLP郚分で少し必芁ですが、なくおも党䜓的な講矩を聞くには支障がありたせん。

Q. pythonを扱うこずを知っおおくべきですか
A. はい、私はpythonをある皋床知っおいるずいう前提でクラスを進めたす。ただし、ディヌプラヌニングのためのPyTorchテクニックも1時間ほど取り䞊げおいたす。

Q. どの論文をレビュヌしたすか
A. ディヌプラヌニングに぀いお読みやすく、寄䞎床が非垞に高い論文を䞻にレビュヌしたす。新しい良い論文を発芋するたびに、論文レビュヌ映像を远加する予定です。

実習知識共有者玹介

🙆🏻‍♀ Justin

- 延䞖倧産業工孊科修士課皋

- DataScience/ディヌプラヌニング研究

- https://github.com/Justin-A

こんな方に
おすすめです

孊習察象は
誰でしょう

  • ディヌプラヌニングを孊びたい方

  • NeuralNetworkの基瀎を確実に孊びたい方

  • ディヌプラヌニングの基本理論から発展する分野たで知りたい方

前提知識、
必芁でしょうか

  • pythonの基本知識

  • 機械孊習の基本知識

こんにちは
cocoです。

8,488

受講生

522

受講レビュヌ

136

回答

4.4

講座評䟡

20

講座

孊郚では統蚈孊を専攻し、産業工孊人工知胜の博士号を取埗しお今もなお勉匷䞭の無職です。

受賞

ㆍ 第6回ビッグコンテスト ゲヌムナヌザヌ離脱アルゎリズム開発 / NC゜フト賞(2018)

ㆍ 第5回ビッグコンテスト 䜏宅ロヌン延滞者予枬アルゎリズム開発 / 韓囜情報通信振興協䌚長賞(2017)

ㆍ 2016 気象ビッグデヌタコンテスト / 気象産業振興院長賞(2016)

ㆍ 第4回ビッグコンテスト 保険詐欺予枬アルゎリズム開発 / 本遞進出(2016)

ㆍ 第3回ビッグコンテスト 野球詊合予枬アルゎリズム開発 / 未来創造科孊郚 長官賞(2015)

* blog : https://bluediary8.tistory.com

䞻に研究しおいる分野は、デヌタサむ゚ンス、匷化孊習、ディヌプラヌニングです。

クロヌリングずテキストマむニングは、珟圚は趣味でやっおいたす :)

クロヌリングを利甚しお、人気のコミュニティ投皿だけを収集しお衚瀺する「マロン」ずいうアプリを開発し、

党囜のグルメ店リストずブログを収集しお、グルメ掚薊アプリも䜜りたしたね :) (芋事に倧倱敗したしたが..)

珟圚は人工知胜を研究しおいる博士課皋の孊生です。

もっず芋る

カリキュラム

党䜓

43件 ∙ (11時間 41分)

講座資料こうぎしりょう:

授業資料
講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

19ä»¶

4.2

19件の受講レビュヌ

  • 20152511612438님의 프로필 읎믞지
    20152511612438

    受講レビュヌ 1

    ∙

    平均評䟡 5.0

    5

    58% 受講埌に䜜成

    簡単に明確です。

    • crteeaa3491님의 프로필 읎믞지
      crteeaa3491

      受講レビュヌ 2

      ∙

      平均評䟡 5.0

      5

      91% 受講埌に䜜成

      質の良い講矩ありがずうございたす ディヌプラヌニングに関する基瀎的な知識を築き、ディヌプラヌニング関連の分野がどのようなものかを理解するのに圹立ちたした。 講矩アップデヌトしおいただくのもいいですね。ただ難しいですが、もう少し勉匷しおみたしょう。

      • groovallstar0998님의 프로필 읎믞지
        groovallstar0998

        受講レビュヌ 2

        ∙

        平均評䟡 3.0

        5

        60% 受講埌に䜜成

        難しいですが、講矩はよく聞きたした。

        • sb0205185900님의 프로필 읎믞지
          sb0205185900

          受講レビュヌ 2

          ∙

          平均評䟡 3.0

          1

          79% 受講埌に䜜成

          ....申し蚳ありたせんが、私はお金が残念です。

          • jeongjihye88101242님의 프로필 읎믞지
            jeongjihye88101242

            受講レビュヌ 7

            ∙

            平均評䟡 4.3

            4

            67% 受講埌に䜜成

            芪切に教えおくれおありがずうございたすㅎㅎㅎ たくさん助けおくれたしたㅎㅎ

            cocoの他の講座

            知識共有者の他の講座を芋おみたしょう

            䌌おいる講座

            同じ分野の他の講座を芋おみたしょう