Google LiteRT-LM - エッジデバイス向け高性能LLM推論フレームワーク

 (github.com/google-ai-edge)
16 ポイント 投稿者 xguru 2026-04-22 | 2件のコメント | WhatsAppで共有
  • Googleが開発したプロダクションレベルのオンデバイスLLM推論エンジンで、Android・iOS・Web・デスクトップ・IoT（Raspberry Pi）など、エッジ環境全般で大規模言語モデルを実行可能
  • 最新のGemma 4モデル対応も追加され、GPU・NPUハードウェアアクセラレーションを通じて、エッジデバイスでも最適な推論性能を提供
  • マルチモーダル対応により、ビジョン（画像）・音声入力を処理でき、CLIでは--attachmentオプションで画像添付による推論もサポート
  • エージェント型ワークフロー向けの**Function Calling（Tool Use）**を内蔵
  • Gemma、Llama、Phi-4、QwenなどさまざまなLLMモデルに対応し、1行のCLIコマンドでHugging Faceからモデルをダウンロードしてすぐに推論可能
    • uv tool install litert-lm → litert-lm run ですぐに開始
  • Chrome、Chromebook Plus、Pixel WatchなどのGoogle製品に実際に搭載され、オンデバイスGenAIを稼働中
  • Google AI Edge Galleryアプリを通じて、モバイル上でモデルを即座に実行可能（Google Play・App Storeで提供）
  • 言語API: Kotlin（Android/JVM）、Python（プロトタイピング）、C++（高性能ネイティブ）を安定サポート、Swift（iOS/macOS）は開発中
  • リリース状況: v0.10.2が最新、v0.10.1でGemma 4・CLI導入、v0.8.0でデスクトップGPU・マルチモーダル、v0.7.0でNPUアクセラレーションを追加
  • Apache-2.0ライセンス

関連記事

2件のコメント

 
picopress 2026-04-22

動かしたくてもメモリがないですね……。
 
hmmhmmhm 2026-04-22

最近はうまく動くようになったのでしょうか。以前はMacのほうで性能が妙に良くなかったのですが……