Transformerの構造理解からLLMの実践的なファインチューニングまで、
現代的な自然言語処理を一つの流れで!
🚀 最新のNLP・LLM技術の流れに合わせて、講義を新たに刷新しました。
自然言語処理技術は、RNN/LSTM中心のディープラーニングNLPから
Transformerと大規模言語モデル(LLM)中心へと急速に変化しています。
これに合わせて、この講義も現代的なNLP・LLMの学習の流れに沿って教材と内容を新たに整理しました。
Tokenization → Embedding → Transformer → BERT/GPT → LLM 학습 → Multimodal AI → PEFT·LoRA·QLoRA → LLM Fine-tuning
もしかしてこのような疑問をお持ちですか?
🤔
「ChatGPTは使っていますが、Transformer、BERT、GPTが実際にどのように動作するのかはよく分かりません。」
🧐
「LLMのファインチューニングを試してみたいのですが、なぜLoRAやQLoRAが必要なのか、どこから始めればいいのか分からず途方に暮れています。」
現代の生成AIとLLMは、突然登場した技術ではありません。
Tokenization、Word Embedding、Attention、Transformer、BERT、GPTを経て、
今日のChatGPTと生成型LLMへと発展しました。
この講義では、それぞれの技術を個別に暗記するのではなく、
「以前の技術にはどのような限界があり、次の技術がそれをどのように解決したのか?」という流れで、
自然言語処理の発展過程を理解します。
現代的な自然言語処理を
原理からファインチューニングまで
💡 Transformer構造の理解+BERT/GPT+LLM学習の原理+Hugging Face+LoRAファインチューニングを1つのコースで!
BOW、TF-IDF、Word Embeddingといった自然言語処理の基本概念は、
現代のNLPがどのように発展してきたのかを理解するための背景知識として扱います。
その後、Self-AttentionとMulti-Head Attentionを中心にTransformerの構造を深く理解し、
BERTとGPTがどのような違いを持って発展してきたのかを見ていきます。
ここからさらに一歩進んで
Pre-training、SFT、RLHF/DPOによる現代LLMの学習プロセス、
Vision TransformerとCLIPによるマルチモーダルAI、
そしてPEFT・LoRA・QLoRAを基盤とした効率的なLLMファインチューニングまで学びます。
最後にはHugging Faceベースの環境で
Qwen2.5生成系LLMをKorQuADデータでLoRAファインチューニングし、
学習前後のモデルの性能変化を直接確認します。
📌 この講義の学習の流れ
① Tokenization · BPE · WordPiece · SentencePiece
② BOW · TF-IDF · Word Embedding
③ Self-Attention · Multi-Head Attention · Transformer
④ BERT · GPT · Hugging Face
⑤ ChatGPTと最新LLMの学習原理
⑥ Vision Transformer · CLIP · マルチモーダルAI
⑦ PEFT · LoRA · QLoRA
⑧ Qwen2.5ベースLLMの実践ファインチューニング
このような方におすすめです 👨💻
- ✅ TransformerとLLMの原理を正しく理解したい学習者
- ✅ Hugging Faceを活用してBERTと生成系LLMを実際にファインチューニングしてみたい開発者
- ✅ 既存のNLP知識を最新のLLM・生成AI技術にアップデートしたいAIエンジニア
- ✅ AI・NLP・LLM職種の技術面接やキャリアチェンジを準備している方
この講義ならではの特徴を
ご紹介します 📚
Transformerの原理を正しく理解します
単にライブラリを呼び出すだけにとどまらず、
Query、Key、ValueとSelf-Attention、
Multi-Head Attentionがどのように計算されるのかを段階的に理解します。
Hugging Faceベースの実習で実際に確認します
Hugging FaceのTransformers、Tokenizers、Datasets、Trainerなどを活用し、BERTのファインチューニングと生成系LLMのファインチューニングを実際に演習します。
ChatGPTからLoRAまで、現代LLMの流れをつなげます
BERTとGPTの違いから始め、
Pre-training、SFT、RLHF/DPO、
Multimodal AI、PEFT、LoRA、QLoRAまで、
現代の生成AIにおける主要な発展の流れをつなげて学習します。
🤖 単なるChatGPTの使い方を学ぶ講義と何が違うのでしょうか?
この講義は、プロンプトの作成方法やAPIの使い方だけを学ぶ講座ではありません。
Transformer内部で文章がどのように処理されるのか、
BERTとGPTはなぜ異なるのか、
LLMはどのように学習されるのか、
LoRAはなぜ少ないパラメータだけでモデルを変化させられるのか
その原理を理解することに重点を置いています。
LLM・RAG・AI Agent技術をより深く学ぶための確かな基盤を築けます。
前提知識 🚩
基本的なPythonの文法を知っていれば受講できます。
機械学習・ディープラーニングの基礎概念を知っていると理解の助けになりますが、必須ではありません。
add_shortcode('course', '328931, 329538', 'card', 'card1')
Q&Aをご確認ください! 💬
Q. Python(パイソン)を知らなくても大丈夫ですか?
この講義の実習はPythonで行います。
変数、関数、繰り返し文など、基本的なPython文法を知っていれば受講できます。
Pythonが初めての場合は、上記のおすすめの前提講義を先に受講することをおすすめします。
Q. ディープラーニングをまったく知らなくても受講できますか?
ディープラーニングの基礎知識は必須の前提条件ではありません。
講義では、TransformerとLLMを理解するために必要な主要な概念もあわせて説明します。
ただし、ニューラルネットワーク、Embedding、Softmax、行列演算などの基本概念に慣れていると、
Transformerの内部構造をよりスムーズに理解できます。
Q. RAGやAI Agentを自分で作る講義ですか?
この講義の中心は、RAGやAI Agentアプリケーションの構築ではなく、
TransformerとLLM自体の構造と学習原理を理解することです。
RAGとFine-tuningの違いや適用基準については扱いますが、
主要な実習はBERTおよび生成系LLMのファインチューニングです。
Q. 従来のRNN/LSTMの内容も学びますか?
現代NLPの中心がTransformerとLLMへと移行したことを踏まえ、
講義の中心的な流れもTransformer以降の技術に合わせて再編成しています。
RNN/LSTMや従来のSequence Modelに関する内容は、
技術発展の背景を理解するための参考・付録として活用できます。
- 一部の授業動画の音声では、ノイズが聞こえる場合があります。
受講申し込み前に、講義の[プレビュー]を必ずご確認ください。