- Raspberry Pi AI HAT+ 2はHailo 10H NPUと8GB LPDDR4X RAMを搭載し、ローカルでのLLM推論を独立して実行可能
- 最大3Wの消費電力、40 TOPS(INT8)の性能を提供するが、実機テストではPi 5 CPUより遅い結果を示した
- 電力制限(3W)とRAM容量(8GB)がボトルネックとなり、中規模モデルの実行では16GB Pi 5の方が効率的
- ビジョン処理(Computer Vision)では従来のAI HAT比で10倍高速だったが、ソフトウェア互換性の問題と同時モデル実行時のエラーが発生
- 低消費電力環境でビジョン処理+推論の並行実行が必要な場合を除けば、開発ボードや実験用プラットフォームとしての価値がより大きい
AI HAT+ 2の主な仕様と特徴
- 新モデルは価格130ドルで、Hailo 10H NPUと8GB LPDDR4X RAMを搭載
- Hailo 10Hは40 TOPSのINT8推論性能と26 TOPSのINT4ビジョン性能を提供
- PiのCPUやシステムメモリを占有せず、独立してLLMを実行可能
- RAMをアップグレードできない問題は依然として残るが、AI補助プロセッサとして活用すればメモリ負担を減らせる
- eGPU接続より安価でコンパクトであり、Microsoftの「AI PC」内蔵NPUより実用的だと評価されている
実際の性能評価
- テストでは8GB RAM構成のRaspberry Pi 5で同一モデルをCPUとNPUそれぞれで実行して比較
- ほとんどのモデルでPi 5 CPUがHailo 10Hより高速だった
- 唯一、Qwen2.5 Coder 1.5Bモデルでのみ近い結果となった
- Hailo 10Hは電力効率は高いが、3Wの電力制限により性能が制約される
LLM実行の限界とQwen 30Bの事例
- 8GB RAMはLLM実行時の最大の制約要因
- 中規模モデルは10〜12GB RAMを要求し、16GB Pi 5の方が適している
- ByteShapeはQwen3 30B A3B Instructモデルを16GB Pi 5向けに10GBへ圧縮して実行に成功
- 品質低下はあるものの、簡単なアプリ生成など基本的な作業は可能
- llama.cppを用いてPi 5上でモデルを実行した結果、速度は遅いもののローカルモデルで実用的な作業が可能だった
ビジョン処理性能とソフトウェアの問題
- Computer Vision作業ではPi CPU比で10倍高速の処理速度を示した
- Camera Module 3でのテストでは、キーボード、モニター、携帯電話、マウスなどを正確に認識
- しかしHailoのサンプルコード(hailo-rpi5-examples)はまだAI HAT+ 2のサポートが不十分
- 手動設定ではモデルのロード失敗やエラー発生が起きた
- 同時モデル実行(ビジョン+LLM)時にはセグメンテーションエラーや**
device not ready**の問題が発生
- Hailoの動作例がないため、テストを完了できなかった
結論と活用可能性
- 8GB RAMは有用だが、16GB Pi 5の方がより高速で柔軟な選択肢
- 低消費電力環境でビジョン処理と推論を並行実行する必要がある場合に限って実用性がある
- **AI Camera(70ドル)や既存のAI HAT+(110ドル)**との組み合わせの方が効率的な可能性がある
- 小型LLMの実行(10W以下)またはHailo 10Hベース機器向け開発キットとしての活用可能性
- 全体としてハードウェアは先行しているがソフトウェアの完成度が不足しており、ニッチな用途中心の製品と評価される
1件のコメント
Hacker Newsのコメント
わずか数分の間に、8GB AI HAT が RPi 向けとしてすごいという意見と、手元の M2 MAX 96GB MacBook が LLM には役に立たないという意見の両方を目にした
それでも後者は素晴らしいノートパソコンでもある、というのがせめてもの救い
Raspberry は昔の Pi 時代にあった 「魔法」や目的意識 を失ってしまったように思える
初期には新しい市場を切り開いたが、今はすでに飽和した分野に飛び込んでいる感じだ
もちろん生き残るために拡大しようとするのは理解できるが、昔のような「Raspberry Pi の瞬間」を再び生み出せてはいないようだ
Frigate のようなソリューションが Coral TPU の販売を押し上げたように、今回もそうした需要がある可能性はあるが、独自の価値提案 が足りないように見える
いまや RPi は産業用組み込みボードより安いという理由で 商用市場 を狙っているように見える
消費者よりも企業顧客が主なターゲットになった印象だ
ほかの SBC はソフトウェア品質がひどかったが、Raspbian との組み合わせが本当の革新だった
RPi は今でもこうした隙間を埋める存在だ
Pico は小型の仕事向け、新しい Pi は大型の仕事向けで、旧型 Pi と Zero も引き続き販売されている
AI 関連製品もこの流れの延長線上にあり、Pi5 で AI をやっていた人たちに向けた自然な拡張だ
Pi の本質は GPIO + 汎用コンピューティング であり、いまや AI もその一部になった
ローカル AI でできることは驚くほど増えていて、ドローンやロボットの自律走行 のような新しい活用も可能になっている
実際にはそれほど大したものではない
Pi で 8GB RAM で AI を動かすというのはやや期待外れだ
イギリスでは Hailo HAT が LLM 向けとして宣伝されているのを見たことがない
主に リアルタイム映像の物体検出 用として使われていて、私も自宅や庭で動物や来訪者の検知に使ってみたい
最近の Pimonori バージョンでは LLM と VLM のサポートにも触れているが、そちらのほうがより現実的な用途に思える
「8GB？ アリ用の LLM か？」という冗談が出るくらいだ
重い作業には向かないが、単純なテキスト生成程度なら十分可能だ
超小型の特化型 LLM 向けの実験用だ
ただし 高価なわりにビジョン処理の向上幅が小さく、ソフトウェアサポートも不足している点が問題だ
数年前なら、こういう製品は単なる ML アクセラレータ と呼ばれていただろう
しかし最近は「AI」という名前が付くことで期待値が変わり、評価が分かれているようだ
小さな LLM が 埋め込みや学習以外で 役に立つのかは分からない
学習用ならもっと良いハードウェアをもっと安く使えるし、埋め込み用途なら遅くて高いだけだ
小さなモデルでも 特化データでファインチューニング すれば、ずっと大きい汎用モデルに迫る性能を出せる
面白いアイデアではあるが、この用途なら Jetson Orin Nano のほうがより良い選択肢だ
ただし RAM が共有されるため、OS のオーバーヘッドで約 1GB 失うのが欠点だ
「LLM を実行できる」ということは、「LLM を実行するのが合理的だ」という意味ではない
スペック上の数字と実際の体験 はまったく別物だと示す例だ
エッジコンピューティング の観点から見れば、今回の試みは RPi エコシステムにとって意味のある飛躍だ
低消費電力の推論アクセラレータが組み込まれれば、クラウドなしでローカル AI を実現できる
まだ初期段階ではあるが、本物のエッジワークロードに向けた正しい方向だ