深層学習 CNN 完璧ガイド - Pytorch バージョン
dooleyz3525
ディープラーニング・CNNの核心理論から多様なCNNモデルの実装方法、実践問題を通じた実務ディープラーニング開発のノウハウまで、 PytorchベースのディープラーニングCNN技術の専門家として生まれ変わりたいなら、この講義をご一緒ください:)
初級
Deep Learning(DL), PyTorch, Computer Vision(CV)
Multi Head AttentionからOriginal Transformerモデル、BERT、Encoder-DecoderベースのMarianMT翻訳モデル、Vision Transformerまで、コードで直接実装しながらTransformerについて隅々まで学ぶことになります。
受講生 345名
難易度 中級以上
受講期間 無制限
学習した受講者のレビュー
5.0
김재준
先修科目を履修せずに、いきなり受講しました。 最初は難しくて大変でしたが、だんだん聞き進めるうちに楽しくなり、今は先修科目を受けに行こうと思っています。
5.0
승훈
コードと理論の説明のおかげで、Transformerについて詳しく理解できています。
5.0
jsmak
いくつかのトランスフォーマーのオンライン講義を受講してきましたが、一番詳しいです。いつも丁寧すぎるほどの解説をありがとうございます。
直接実装しながら身につけるTransformerのSelf, Causal, Cross Attentionメカニズム
Positional Encoding、Feed Forward、Encoder、Decoderなどを直接実装しながら学ぶOriginal Transformerモデルアーキテクチャ
トークン化、埋め込みといったNLPの基礎やRNNモデルなど、Transformerのための事前知識
BERTモデルを直接実装し、実装したBERTで文章分類学習を適用
直接実装するEncoder-Decoder翻訳モデルであるMarianMTモデル
Hugging Face Dataset、Tokenizer、および DataCollator の理解と活用
Encoder-Decoder MarianMTモデルの学習およびGreedyとBeam Search推論
Vision Transformer(ViT)を直接実装し、カスタムデータで画像判別モデルを学習
Transformerの核となるメカニズムであるMulti-Head Attentionから、Original Transformerモデル、BERTモデル、Encoder-Decoder MarianMT翻訳モデル、Vision Transformerまで、コードで実装しながら理解するTransformerフルコースとして講義を構成しました。
Transformerの核心メカニズムであるMulti Head Attentionから、Original TransformerモデルおよびBERT、Encoder-Decoder翻訳モデルであるMarianMTモデルまでコードで直接実装しながらTransformerについて詳しく学ぶことになります。
Transformerを理解するには、NLPの基礎をまず理解することが重要です。
トークン化と埋め込み、そしてTransformer以前のRNNモデルから出発し、Attention -> Transformer -> BERT -> MarianMT翻訳モデル -> Vision Transformerまでを一つの流れで講義を構成しており、確かなNLPの基盤からTransformerの核心モデルまで段階的に学習が可能です。
実装だけに集中するのではありません。Transformerを構成する核心的なメカニズムが 頭にすっと入り、簡単に理解できるように、多くの時間をかけてアイデアを構想し、講義を作りました。分かりやすく詳細な理論説明から実際のコード実装までつながる講義で、皆さんのTransformer応用力を飛躍的に向上させます。
エンベディング、パディング(Padding)マスキング、様々なタイプのAttention、パディングが適用されたLabelのLoss計算、動的(Dynamic)パディングなど、実際の研究/実務で直面する要素を具体的に扱い、その解決過程を提示します。
Hugging Faceは、Transformerの活用において不可欠なライブラリです。本講義では、Hugging FaceのTokenizer、Dataset、DataCollatorなどを活用し、Transformerモデル学習のためのデータ前処理、トークン化、動的パディング、ラベル値およびデコーダ入力値の変換などのデータ加工を いかに簡単かつ便利に 処理するかを詳細にガイドします。
トークン化、エンベディング、RNNおよびSeq2Seqモデル、そしてAttentionの基礎など、Transformerを習得するための事前知識を要約して解説します。
Self Attention、Causal Attention、Cross Attention などの主要なアテンションメカニズムと、Positional Encoding、Layer Normalization、Feed Forward、Encoder/Decoder Layer など、Transformer の主要モジュールを、詳細な理論と実習を通じて明確に理解することができます。
Hugging FaceのDataset、Tokenizer、DataCollatorの特徴、メリット、そして使用方法を詳しく解説します。そして、これらを組み合わせてTransformer NLPモデルのためのデータパイプライン処理をどのように効果的に行えるか、多様な実習と例題を通じて習得していただけます。
BERTモデルの主要構成要素を直接実装しながらBERTを習得します。それだけでなく、このように実装したBERTとHugging Faceで提供される多様な機能を利用して、文章分類のためのモデル学習および Inference を適用する方法を学ぶことができます。
Encoder-Decoderベースの韓国語-英語翻訳モデルであるMarianMTモデルを直接実装し、Encoder-Decoderモデルの学習に必要な様々なデータ前処理方式と技法を学び、Auto RegressiveベースのGreedy SearchとBeam Searchの実装および適用方法を学びます。
ビジョン領域でTransformerをCNNに匹敵するモデルとして定着させたVision Transformerを直接実装し、カスタムデータセットを利用して学習してみます。Vision Transformerの主要モジュールを直接実装しながら、ViTの特徴とメカニズムを簡単に理解しながら学ぶことができます。
実習環境はKaggleが提供するnotebookカーネルで行います。Kaggleに登録した後、Codeメニューを選択すると、Colabと似たJupyter Notebook環境ベースでP100 GPUを週に30時間無料でご利用いただけます。
学習対象は
誰でしょう?
トークン化からRNN、Transformerをコードで直接実装しながら、基礎をしっかりと固めたいディープラーニングNLP入門者
単にTransformerライブラリを使うのではなく、内部メカニズムを直接実装しながら、Transformerの構造を深く理解したい方
理論と実践のバランスの取れたアプローチで、Transformerの核心メカニズムをより分かりやすく理解したい方
AIサービスの開発において、AttentionやTransformerの基礎能力をしっかりと身につけたいと考えている開発者
Transformerの基礎からテキスト分類、翻訳モデルまで、完成度の高いEnd-to-Endの実践プロジェクト経験を求める方
前提知識、
必要でしょうか?
ディープラーニング CNN 完全ガイド - PyTorch版
インフラン認証
28,457
受講生
1,576
受講レビュー
4,085
回答
4.9
講座評価
15
講座
(元) エンコアコンサルティング | (元) 日本オラクル | 『Python機械学習完璧ガイド』著者
AIフリーランスコンサルタント
全体
145件 ∙ (28時間 9分)
講座資料(こうぎしりょう):
8. セクション概要
01:58
16. エンベディング値を可視化してみる
13:04
19. RNNの理解 - 01
09:09
20. RNNの理解 - 02
16:29
21. RNNの理解と問題点
14:23
25. セクション概要
02:22
全体
24件
5.0
24件の受講レビュー
受講レビュー 2
∙
平均評価 5.0
5
コードと理論の説明のおかげで、Transformerについて詳しく理解できています。
お役に立てて私も嬉しいです。素敵な受講評までいただき、本当にありがとうございます。
受講レビュー 14
∙
平均評価 3.9
5
様々なトランスフォーマー講義を受講しましたが、本当にこの講義が最高です。 論文レビューだけをするのとは違い、コードとPPTに講師の直感的な説明が溶け込んでいます。コードと一緒に見ると理解がすんなりできます。 今後、他の講義も信じて受講申請する予定です。 本当に指折りのレジェンド講義です。
おお、胸がいっぱいになりますね。今日一日とても幸せになりそうです。素敵な受講レビューを書いてくださってありがとうございます。
受講レビュー 9
∙
平均評価 5.0
5
いくつかのトランスフォーマーのオンライン講義を受講してきましたが、一番詳しいです。いつも丁寧すぎるほどの解説をありがとうございます。
おお、素晴らしい受講評をいただきありがとうございます。Transformerを初めて接する方には難しいかもしれないと思い、少し説明が過剰になってしまった部分がありましたね。次の講義を作る際の参考にさせていただきます。
受講レビュー 7
∙
平均評価 5.0
受講レビュー 8
∙
平均評価 5.0
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!