Pixart & SANA、実装しながら学ぶDiffusion完全攻略 III
Sotaaz
最新のTransformerベースのPixArtと軽量適応化SANAを理論からコードまで段階的に実装します。I・II編で扱ったDDPM・DDIM・LDM・DiTを基に、テキストエンコーダ接続、サンプラー(DDIM/ODE)、v-予測/CFGチューニング、小規模データスタイル微調整まで実習中心で完走します。
中級以上
Python, PyTorch, AI
2025年、ジェンスン・ファンが直接言及したPhysical AI。 Perception AI、Generative AI、Agentic AI、そしてPhysical AIの時代が到来します。 素早く簡単にPhysical AIを直接体験してみましょう。 Hugging FaceのLeRobotライブラリと実物ロボットを使って、Physical AIを体験してみてください。
LeRobotライブラリを使ってみる
SO-ARMで多様なVLAを体験する
片腕ロボット、双腕ロボット、モバイルマニピュレータロボットで様々なVLAを試してみる
「本の出版とともに継続的にアップデートされる予定であり、ロボットキットに基づいて進められるカリキュラムです。」
HuggingFaceが公開したLeRobotライブラリを通じて、さまざまなVLAモデルを実行してみることができます。
論文で公開された技術を、ロボットがないために実装できないケースが多いです。
手頃な価格のロボットアームを使って、LeRobotライブラリを体験してみましょう。
LeRobotライブラリを学び、さまざまなVLAモデルを実行するためには、実際のロボットが必要です。最も安価なSO-ARMロボットを使用します。
このロボットを作動させるために、ロボットをセッティングする方法を学びます。
Python で構成された当該ライ브러리について調べてみましょう。
LeRobot
最も基本的で、素早く実装できるACTについて学びます。
そして、実際に実行してみます。実際のフィジカルAIを最も速く体験できるモデルです。
オペレーティングシステムおよびバージョン(OS):Windows、macOS、Linux、Ubuntu、Android、iOSなどのOSの種類およびバージョン
使用ツール:実習に必要なソフトウェア/ハードウェアのバージョンおよび課金プラン、仮想マシンの使用有無など
PCスペック:CPU、メモリ、ディスク、グラフィックボードなど、プログラム実行のための推奨スペックなど
提供する学習資料の形式(PPT、クラウドリンク、テキスト、ソースコード、アセット、プログラム、例題など)
分量および容量、その他の学習資料に関する特徴および注意事項など
学習難易度を考慮した必須の予備知識の有無
講義動画の品質(音質・画質)など受講に直接関連する内容および推奨される学習方法
質問/回答および今後のアップデートに関する内容
講義および学習資料の著作権に関するお知らせ
学習対象は
誰でしょう?
AI分野からフィジカルAI、ロボット分野へ転向したい方
VLA (Vision-Language-Action) モデルに興味がある方
全体
21件 ∙ (2時間 44分)
5. 03. 追加部品組み立てガイド
06:48
6. 04. キャリブレーション
05:09
7. 05. テレオペレーション
02:06
8. 06. データ収集および再生ガイド
09:38
9. 07. ACT学習と実行ガイド
08:54
12. 03. USBポート固定設定
04:26
13. 04. カメラポート固定設定
02:50
14. 05. キャリブレーション
04:24
15. 06. テレオペレーション
04:40
16. 07. データセット収集
17:07
20. 11. ACTモデルの評価と推論
08:59
全体
1件
同じ分野の他の講座を見てみましょう!