FPGAで作るMNIST NPU — RTLからBit-True検証まで

FPGAとVerilogは学んだものの、「それで、AIアクセラレータをどうやって直接作るのか？」という段階で立ち止まってしまう方が多くいます。この講義はその疑問を解消します。普及型FPGA一枚と無料ツールだけで、手作業で設計した3×3カーネルから始まり、CNNを直接学習させ、学習済み重みをINT8に量子化してハードウェアに実装した後、Pythonモデルと1ビットの狂いもなく一致するか（Bit-True）まで検証します。半導体業界30年の経歴を持つ現職教授として、実際のFPGAで検証した内容のみを「動作する回路」として教えます。理論ではなく、自ら設計し証明する経験を通じて、ファブレス設計・AI半導体分野で通用する実践的なスキルを身につけることができます。

NPU・トランスフォーマーアクセラレータ・mini LLMのようなAI半導体を自ら設計するには、その内部で演算がなぜ行われるのかを理論的に理解する必要があります。この講義では、1つのニューロンからCNN・トランスフォーマー・LLMまで、ハードウェア設計に不可欠な理論のエッセンスだけを抜き出し、全3回に凝縮しました。数式の暗記ではなく「なぜそうなるのか」という直感を通じて、半導体業界で30年の経験を持つ現役教授が、ソフトウェア理論とハードウェア実装を一つにつなぎます。

ディープラーニング最新の技術の一つであるVision Transformerを勉強し、Pytorchを利用して論文を実装する講義です。ビジョン分野の新しい未来を私と一緒に体験してください！

この講義では、AMD FPGAとTEMAC IPを利用してGigabit Ethernet通信システムを設計する方法を紹介します。VivadoでTEMAC IPを生成・設定し、Topモジュールと接続して、1GbpsのEthernetフレーム送受信が可能なハードウェアシステムを設計します。Ethernetプロトコルの基本概念、フレーム構造、デバッグ方法（ILA、Wiresharkなど）もともに学習します。ARP応答およびUDP送信RTLを設計し、PCで性能を測定します。

コンピュータービジョンの最も基本的なデータセットであるMNISTに関する理論的概念を整理し、TorchvisionのAPIを通じた実装および直接カスタムデータセットクラスを実装する方法を学びます。

リアルタイムオブジェクト認識モデルである初期YOLOモデルから最新モデルまで学べる講義です。さらに、オブジェクト認識に加えて、さまざまなディープラーニング技術を学びます。

OpenCV（Open Source Computer Vision Library）で画像や映像を処理し、ディープラーニングモジュール（dnn、Deep Neural Network）を活用して、顔、目、さまざまな事物を識別して認識する面白いプロジェクトを理論とともに学ぶ過程です。

実務への適用や面接対策でお困りではありませんか？私の現場での経験を活かし、CNNからDETRまでコードを中心にしっかりとレクチャーします。

ボストンマラソンのビッグデータに基づいて、PythonとTensorflow 2を利用して、多様で有用な機械学習回帰（Regression）と分類（Classification）プロジェクトを理論とともに学ぶ機械学習総合プロジェクトコースです。

RISC-V命令の動作原理を出発点として、5段パイプライン構造の32ビットCPUを自ら設計し、Verilog RTLの実装からシミュレーション検証、FPGAでの実機動作までを完成させる実践的なCPU設計コースです。 RV32Iの40命令の中から、CPUの基本構造を学ぶために必要な14命令を選定し、TinyRV32Iを段階的に構築します。データパス、パイプラインレジスタ、ALUと制御回路、Branch、Hazard、Stall・Flush、Memory-Mapped I/Oなど、実際のCPUを構成する主要な構造を自ら設計・検証します。 講義で使用するVerilog RTL、Testbench、Assemblyプログラム、Memory Image、FPGA制約ファイルを提供し、最終的にはArty S7-25 FPGA上で、自ら設計したCPUにより実際のプログラムを実行します。 本コースはここで終わりではありません。TinyRV32Iを通じてCPUの基本構造を完成させた後、後続コースではRV32Iの40命令すべてをサポートするFull RV32I CPUへと拡張する、段階的なCPU設計シリーズへと続きます。

機械学習を学ぶと、精度を上げる方法を身につけます。ところが、そのモデルを実際のチップに載せようとした瞬間、誰も教えてくれなかった疑問が残ります。このモデルは何回乗算を行うのでしょうか？何をどれだけ記憶しておく必要があるのでしょうか？現在目標としているチップの仕様で、その要求に対応できるのでしょうか？ 機械学習の教科書は精度について語り、半導体の教科書は回路について語りますが、その間をつなぐ資料はほとんどありません。私はRISC-V CPUとNPUをFPGAで実装しながら、この隔たりに何度も直面しました。精度が最も高いモデルが、実際にはボードに収まらないという状況です。 本講座では、6つのアルゴリズムをPythonで実際に作りながら、作るたびに乗算、比較、メモリ、精度を測定します。そして、その値を実際のFPGAボードのリソースに換算します。乗算が何回という言い方だけでは規模を推し量れませんが、ボードの何パーセントかと言われれば判断できるからです。 9つのLabを経て6つのモデルを1つの表にまとめると、予想とは異なる全体像が見えてきます。乗算を数えるために9つのLabを費やしたのに、実際に足を引っ張っていたのは乗算ではありませんでした。その後、実数を整数に落とし込み、桁数を管理し、回路を評価する基準まで作ります。 FPGAボードは必要ありません。Pythonだけで進め、ボードは測定値を換算する基準としてのみ使用します。

AI人工知能、モバイルが大勢だということは言うまでもありません。ところで、機械学習とディープラーニングを学び、モバイルでどのように書くのでしょうか？それでは、生活の中で活用される便利なモバイルComputer Visionプロジェクトを一緒に学びましょう。

Season 1が実力点検と基礎固めだったとするならば、Season 2はただ「合格と転職」のためだけの実戦圧縮トレーニングです。 単なる文法やゲートレベルを超え、実際に大手企業や外資系の現場、そしてコーディングテストで頻出する最上位の高難易度モジュール（CDC、同期/非同期FIFO、AMBA APB、SPI、I2C、FIRフィルタなど）を直接設計してみます。 面接官の深掘りするような圧迫質問にも揺るがない、確かな設計能力が必要ですか？地方大学から外資系半導体企業への転職を成し遂げたETAの実戦ノウハウのすべてと、コーディングテストの決定版といえる問題たちをこの講義にすべて詰め込みました。最後のシーズン、あなたの転職フリーパスを完成させてください。

本講義はDDR Memory Arbiterを実装します。

本講義では、DDR Memory Arbiterを実装します。

<大規模言語モデル、核心だけ素早く!>(インサイト、2025)を基にしたLLMの理論と実戦例題を扱う講義です。

画像をアップロードすると、Opencvが処理して顔を検出するWebアプリを作成します。

CPUを作ろうと決心すると、たいていはまず回路図を探します。ところが図面を広げた瞬間、 答えられない疑問が生まれます。このブロックはなぜここになければならないのでしょうか？ レジスタを読み取る ポートはなぜ2つあるのでしょうか？ 答えはすべて命令にあります。命令が何を要求しているのかが分かれば、どのような回路が必要なのかが 決まります。逆の順序ではいきません。 RISC-Vの講義はすでにいくつもあります。しかし、そのほとんどはスライドに値を表示して "このように なります" と言ったあと、先へ進んでしまいます。受講者には、その値が正しいかどうかを確認する方法がありません。 この講義では、Python製の命令実行シミュレーターも一緒に提供します。run ADDと入力すれば、その 場で機械語がアセンブルされ、32ビットがフィールドごとに展開され、レジスタがどのように変化するのかが 画面に表示されます。教材にあるすべての数字はこのツールの実行結果であり、皆さんの画面上でも同じように 再現されます。 市販のデバッガーにはライセンスが必要で、シミュレーターはインストールが壁になります。このツールはPythonさえ あれば使えます。ボードも、ライセンスも、インストールも必要ありません。 RV32Iの命令40個を一つも漏らさず実際に実行し、回路が何をしなければならないのかを自分で見つけ出していく 過程です。

パーセプトロンから誤差逆伝播法まで、ニューラルネットワークの核心となる数学理論を体系的に学び、Rコードで自ら実装します。活性化関数、勾配降下法、多層ニューラルネットワークなど、ディープラーニングの基礎をしっかりと身につけ、実際のデータセットを活用した分類問題の解決能力を養います。

実務で本当に使えるOCR技術を、しっかり学びたいならこの講座一つで完結！ 非定型文書や複雑なレイアウトでも98%以上の精度を目指し、最新のSOTAモデルと実践ノウハウをもとに企業レベルのOCRプロジェクトを一緒に構築していきます。