Google LiteRT-LM - エッジデバイス向け高性能LLM推論フレームワーク

 (github.com/google-ai-edge)
14 ポイント 投稿者 xguru 8 일 전 | 2件のコメント | WhatsAppで共有
  • Google製のプロダクションレベルのオンデバイスLLM推論エンジンで、Android・iOS・Web・デスクトップ・IoT（Raspberry Pi）など幅広いエッジ環境で大規模言語モデルを実行可能
  • 最新のGemma 4モデル対応も追加され、GPU・NPUハードウェアアクセラレーションによりエッジデバイスでも最適な推論性能を提供
  • マルチモーダル対応によりビジョン（画像）・オーディオ入力を処理でき、CLIでは--attachmentオプションで画像添付推論もサポート
  • エージェント型ワークフロー向けの**Function Calling（Tool Use）**を内蔵
  • Gemma、Llama、Phi-4、Qwenなど多様なLLMモデルと互換があり、1行のCLIコマンドでHugging Faceからモデルをダウンロードしてすぐに推論可能
    • uv tool install litert-lm → litert-lm run ですぐに開始
  • Chrome、Chromebook Plus、Pixel WatchなどのGoogle製品に実際に搭載され、オンデバイスGenAIを稼働中
  • Google AI Edge Galleryアプリを通じてモバイル上でモデルをすぐに実行可能（Google Play・App Storeで提供）
  • 言語API: Kotlin（Android/JVM）、Python（プロトタイピング）、C++（高性能ネイティブ）を安定サポートし、Swift（iOS/macOS）は開発中
  • リリース状況: 最新はv0.10.2、v0.10.1でGemma 4・CLIを導入、v0.8.0でデスクトップGPU・マルチモーダル、v0.7.0でNPUアクセラレーションを追加
  • Apache-2.0ライセンス

関連記事

2件のコメント

 
picopress 8 일 전

動かしたくてもメモリがないですね……。
 
hmmhmmhm 8 일 전

最近はうまく動くようになったのでしょうか。以前はMacのほうで性能が妙に良くなかったのですが……