![[PyTorch] NLP を簡単に素早く学ぶCourse Thumbnail](https://cdn.inflearn.com/public/courses/325056/course_cover/b66025dd-43f5-4a96-8627-202b9ba9e038/pytorch-nlp-eng.png?w=420)
[PyTorch] NLP を簡単に素早く学ぶ
coco
基本的な自然言語処理技術と、さまざまなテキストタスクにディープラーニングを活用する方法について説明します。
Intermediate
Deep Learning(DL), Artificial Neural Network, PyTorch
MLP、CNN、RNNなど、ディープラーニングの基本的な骨組みを簡単に素早く学びます。

PyTorch 基本テクニック
ニューラルネットワークに関する知識
ディープラーニングの基本知識
CNN、RNN の概念
Pytorch を使用してディープラーニング モデルを設計する方法
CNN(ResNet) を使用した cifar10 画像分類モデルの構築
RNN を活用した映画レビュー予測モデルの構築
転移学習/オートエンコーダー/ディープラーニング論文レビュー
モデルの一般化
🙆🏻♀ディープラーニングの基本的な骨格であるMLPからCNN、RNNまで簡単かつ迅速に学びます。
Inflearnで講義した内容をまとめ、「Pythonディープラーニングパイトーチ」という本で出版しました。
多くの興味をお願いします :)
(2020.10.06 基準 Inflearn 講義更新されました。継続的な講義更新をさせていただきます)
 
    
http://m.yes24.com/Goods/Detail/93376077?ozsrank=10
http://mbook.interpark.com/shop/product/detail?prdNo=339742291&is1=book&is2=product
- PyTorchに慣れていない人のためにPyTorch background講義(1時間ほど)を追加しました。
- 論文レビュー講義(1時間)を追加しました。
最近話している人工知能は、ほとんどディープラーニングモデルを活用しています。ディープラーニングの基礎となるニューラルネットワークは新しいアルゴリズムではありません。以前から存在してきたアルゴリズムですが、学習の特性上あまり使われませんでした。この基本的な neural network から始めて、なぜディープラーニングが浮かび始め、ディープラーニングの特徴が何なのか、さらに基本的なディープラーニングモデルと呼ばれる convolution neural network, recurrent neural network について学習します。
最初の人工知能と呼ばれるperceptronとperceptronの限界点、そしてこれを克服したMLPについて学びます。
MLPはneural networkの基本構造と見なすことができます。 MLPの学習アルゴリズムを次々とお知らせします。
Feed forwardとback propagationについて話し、長所と短所について話します。
ディープラーニングの定義は何であり、一般的なニューラルネットワークとは何が違うのかを集中的に学びます。
NNの欠点であるgradient vanishing/overfitting問題を緩和できるactivation function、drop out、Batch normalizationについて取り上げます。
さらに、単に分類することはできませんが、新しい機能について学ぶことができるAuto-Encoderについても説明します。
🌈 Convolutional Neural Network (CNN)
ディープラーニングの歴史を見たとき、最も発展したモデルがこのCNNモデルではないかと思います。イメージ分類から始まり、膨大な発展を遂げてきたCNNモデルについて取り上げます。学習アルゴリズムの特性について話し、一般的なNNとの違いについて説明します。
さらに、CNNのパフォーマンスを向上させるためのさまざまなアーキテクチャ(Resnet、Densenet)、初期化、オプティマイザ技術、および transfer learning についても話します。

テキストモデル(Language model)の基礎モデルであるRNNとLSTMについて説明します。
ディープラーニングが使われるさまざまな分野について話します。
ディープラーニング、機械学習などのGeneralizationは、AI全体的に非常に大きな問題です。まだ解決されていない難題です。そこでこれを解決するための様々な研究が進んできています。このジェネリゼーションに関するさまざまな研究についても紹介します。
従来の Generlization 性能は Training error - Eest error で計算してきました。学習データの性能とテストデータの性能が似ていれば似ているほど良いと考えられてきたからです。ところがこの既存の通念を破る研究結果が出てきてディープラーニングは学習をするのではなく「覚えることだ」と論文の著者たちは主張します。
CNNは画像分類で非常に効果的なモデルであることは誰でも知っているという事実です。 Graphical Representation Learning でイメージの特徴をよく捉えるからです。ところで、このCNNがイメージのShapeを学習させるのではなく、テクスチャを学習させるものであるという研究結果があります。この論文は単行の数式もなく、ただ実験結果だけを持ってAI Top ConferenceであるICLRにOralで Acceptされた論文です。非常に非常に学術的価値が高いという話です。
人間とディープラーニングがGeneralizationには何らかの違いがあり、どのようにすればディープラーニングが人間と同様にGeneralizationできるのかに関する論文を紹介します。
画像分類のパフォーマンスを向上させ、一般化に対するパフォーマンスを向上させるための最も基本的な方法がData augmentationです。さらに、先生が学生に知識を伝える概念であるKnowledge Distillationの概念についても紹介します。
「少女」のイメージをGirlで学ぶのは正しいでしょうか?それとも、Womanで学習するのが正しいのでしょうか?このような方法はLabel Softeningと呼ばれ、Knowledge Distillationを利用してlabel softeningを進行することもあります。これらの方法を用いて Regularization する研究を紹介します。
読みやすい簡単で良い論文のいくつかをレビューします!
論文レビューは引き続き更新される予定です!
象の写真に少しのノイズを加えると、人間の目には象のように見えますが、ディープラーニングはKoalaとして予測されます。ノイズを通じてディープラーニングを欺く分野が生まれ、関連研究が多く登場しましたが、そのうちの1つのノイズだけを追加すればほぼすべてのイメージをディープラーニングがうまく合わせることができるという研究があり、紹介します。
ディープラーニングのモデル構造は、単純な問題には単純なモデル複雑な問題には複雑なモデルを持たなければならないことが知られています。これに関して、ディープラーニングのモデルサイズと学習エポック数とオーバーフィッティングの関係について研究した論文があります。
下の図では、4つの絵はすべて「子犬」であることがわかります。しかし、すべてが異なるスタイルを持っています。 CNNは、あるドメインの子犬を学習しても、他のドメインの子犬を合わせることはできません。学習データとテストデータが同じ分布にあるという仮定があるからです。複数のドメインについて Generalization を Domain Generalization といい、これに関する研究を紹介します。
Q. 数学的な知識がたくさん必要ですか?
 A. MLP部分で少し必要ですが、なくても全体的な講義を聞くには支障がありません。
 Q. pythonを扱うことを知っておくべきですか?
 A. はい、私はpythonをある程度知っているという前提でクラスを進めます。ただし、ディープラーニングのためのPyTorchテクニックも1時間ほど取り上げています。
 Q. どの論文をレビューしますか?
 A. ディープラーニングについて読みやすく、寄与度が非常に高い論文を主にレビューします。新しい良い論文を発見するたびに、論文レビュー映像を追加する予定です。
- 延世大産業工学科修士課程
- DataScience/ディープラーニング研究
- https://github.com/Justin-A
学習対象は 
誰でしょう?
ディープラーニングを学びたい方
NeuralNetworkの基礎を確実に学びたい方
ディープラーニングの基本理論から発展する分野まで知りたい方
前提知識、 
必要でしょうか?
pythonの基本知識
機械学習の基本知識
8,313
受講生
502
受講レビュー
136
回答
4.4
講座評価
20
講座
학부에서는 통계학을 전공하고 산업공학(인공지능) 박사를 받고 여전히 공부중인 백수입니다.
수상
ㆍ 제6회 빅콘테스트 게임유저이탈 알고리즘 개발 / 엔씨소프트상(2018)
ㆍ 제5회 빅콘테스트 대출 연체자 예측 알고리즘개발 / 한국정보통신진흥협회장상(2017)
ㆍ 2016 날씨 빅데이터 콘테스트/ 기상산업 진흥원장상(2016)
ㆍ 제4회 빅콘테스트 보험사기 예측 알고리즘 개발 / 본선진출(2016)
ㆍ 제3회 빅콘테스트 야구 경기 예측 알고리즘 개발 / 미래창조과학부 장관상(2015)
* blog : https://bluediary8.tistory.com
주로 연구하는 분야는 데이터 사이언스, 강화학습, 딥러닝 입니다.
크롤링과 텍스트마이닝은 현재는 취미로 하고있습니다 :)
크롤링을 이용해서 인기있는 커뮤니티 글만 수집해서 보여주는 마롱이라는 앱을 개발하였고
전국의 맛집리스트와 블로그를 수집해서 맛집 추천 앱도 만들었었죠 :) (시원하게 말아먹..)
지금은 인공지능을 연구하는 박사과정생입니다.
全体
43件 ∙ (11時間 41分)
講座資料(こうぎしりょう):
全体
19件
4.2
19件の受講レビュー

受講レビュー 2
∙
平均評価 5.0

受講レビュー 2
∙
平均評価 3.0

受講レビュー 7
∙
平均評価 4.3

受講レビュー 1
∙
平均評価 4.0

受講レビュー 1
∙
平均評価 5.0
¥10,125
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!