プログラマーのための強化学習(著者直講)

このコースでは、強化学習を数学的に説明します。 さらに、言語の中で一番アクセスしやすいPythonで書いておいたRLkitを直接コーディングしながら、実際のティックタックトークゲームを実装して実行することができます。

この講義を通して、強化学習の基本理論を学ぶことができます。

この講義では、マルチエージェント、カリキュラム学習、分散学習など、機械学習エージェントのさまざまな機能について学び、実際に使用することができます。また、好奇心に基づく探索や、可変的な入力にも対応可能な強化学習アルゴリズムについても学習できます。

自分だけのAI自動運転車を作ってみましょう！AIと強化学習について最も面白く、速く学べる講座です。本講座は、DeepRacer 韓国ランキング1位の開発者が制作しました。

この講義を通じて、受講生は様々な強化学習の理論を学習し、これを直接実装するだけでなく、ユニティ機械学習エージェントを利用して実装した強化学習アルゴリズムをテストしてみる強化学習環境まで直接製作してみることができます。

強化学習の理論、基礎概念をしっかり固めたい方、ディープラーニングが強化学習にどのように適用されるかを学びたい方に役立ちます。

ニューラルネットワークをFPGAに実装する――言葉としては聞き慣れていますが、実際に成し遂げた人は多くありません。 キャップストーンプロジェクトやコンテスト、卒業制作で一歩先を目指すなら、モデルを学習させるだけでなく、その演算が実際のチップ上でどのように動くのかを自分で作り、証明できなければなりません。この講座はまさにその部分、理論と実物のハードウェアとの隔たりを越えるためのものです。 実際の人の手書き文字で構成されたMNIST数字を認識するニューラルネットワークアクセラレータ（NPU）を、仕様の読み解きから、Pythonゴールデンモデル、Machine Learning学習、Verilog RTL設計、FPGA検証まで、最初から最後まで自分の手で完成させます。ラインバッファと並列MACで構成するConv層、ReLU・MaxPool・Flattenを経て、全結合層とArgmaxまで――9つのブロックを1つのチップに統合し、"Pythonの正解データとハードウェアの出力が1ビットも異ならない（Bit-True）"ことを自ら証明します。シミュレーションは問題なく動くのに、結果だけが微妙に異なる――そんなもどかしい瞬間を乗り越える方法まで、この講座に盛り込みました。 整数量子化、配列の軸順序の変換、アキュムレータのオーバーフロー防止など、一般的なディープラーニング教材では扱われない実践的なノウハウを、一つひとつ丁寧に解説します。私はRISC-V CPU設計とFPGAのBit-True検証に長年取り組む中で経験した試行錯誤を、皆さんが繰り返さずに済むよう、この講座に凝縮しました。授業が終わる頃には、"自分で設計し、証明した"と言える、完成したハードウェアプロジェクトが手元に残ります。

<大規模言語モデル、要点だけを素早く！>（インサイト、2025）をもとに、LLMの理論と実践例を扱う講義です。

ベクトルと行列の意味を図で確認し、小さな例題で実際に計算する線形代数学の講義です。線形回帰・PCA・SVD・テンソル・アテンションで使われる数学を段階的に扱います。プログラミングの知識は必要ありません。

機械学習を学ぶと、精度を上げる方法を身につけます。ところが、そのモデルを実際のチップに載せようとした瞬間、誰も教えてくれなかった疑問が残ります。このモデルは何回乗算を行うのでしょうか？何をどれだけ記憶しておく必要があるのでしょうか？現在目標としているチップの仕様で、その要求に対応できるのでしょうか？ 機械学習の教科書は精度について語り、半導体の教科書は回路について語りますが、その間をつなぐ資料はほとんどありません。私はRISC-V CPUとNPUをFPGAで実装しながら、この隔たりに何度も直面しました。精度が最も高いモデルが、実際にはボードに収まらないという状況です。 本講座では、6つのアルゴリズムをPythonで実際に作りながら、作るたびに乗算、比較、メモリ、精度を測定します。そして、その値を実際のFPGAボードのリソースに換算します。乗算が何回という言い方だけでは規模を推し量れませんが、ボードの何パーセントかと言われれば判断できるからです。 9つのLabを経て6つのモデルを1つの表にまとめると、予想とは異なる全体像が見えてきます。乗算を数えるために9つのLabを費やしたのに、実際に足を引っ張っていたのは乗算ではありませんでした。その後、実数を整数に落とし込み、桁数を管理し、回路を評価する基準まで作ります。 FPGAボードは必要ありません。Pythonだけで進め、ボードは測定値を換算する基準としてのみ使用します。

簡単な機械学習モデルをベースにAndroid/iOSアプリを作成し、機械学習の基礎、TFLiteを使用したモデル変換、Androidアプリ/iOSアプリを実装するプロセスを学びます。

Excelでディープラーニングフレームワークを直接実装しよう！ 実装したフレームワークで指導学習/非指導学習/強化学習を解こう！