Google Chrome、ブラウザ内に Gemini Nano AI モデル `window.ai` を追加

• Chrome 127 バージョンから、window.ai を通じて Gemini Nano AI モデルをブラウザで利用可能に提供
• チャットボットのデモサイトは Next.js + Vercel AI SDK を使って作成された
• 使用例

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
参考までに、モデルファイルは少し前に抽出されました。

[edunga1]

https://developer.chrome.com/docs/ai/built-in
試してみるには別途申請が必要ですね。

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Hacker News のコメント

• AppleのAI戦略をWebユーザーにも適用できる機能をブラウザに標準搭載するのは前向き

  • ローカルモデルを使うことでプライバシーとセキュリティを強化できる
  • Googleがこれをうまく実装すれば非常に興味深いものになる

• Vercelはwindow.aiを発表した際、Chrome APIの代わりに独自の抽象化を示した

  • window.ai APIは非常にシンプルで、ラッパーは不要
  • サンプルコード:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• GoogleのAPIでモデルを指定できないのは大きな欠陥

  • モデルが継続的にアップグレードされると、テストと保守が難しくなる
  • 提案されているコード:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• WebサイトがユーザーのCPUを分散LLM処理に使うのは問題

• window.ai APIに関する公開ドキュメントが不足している

  • Gemini Nanoモデルがどのバージョンなのか明確ではない

• 現在の技術では、instructモデルはbaseモデルより有用性が低い

  • LoRAsの実行、温度調整、プロンプトテンプレート設定などの機能が必要
  • 技術の変化が速すぎて、ブラウザに統合するにはまだ早いかもしれない
  • モデルをインターフェースから分離し、他のローカルモデルも使えるようにすべき

• 標準化が不足している

  • MicrosoftのWebNNのようなアプローチが必要
  • AppleのMetalをWebGPUとして公開しようとする試みのように、他のベンダーもこれを実現すべき

• Chromeの「Create theme with AI」機能はランダムなテーマ選択と違いがない

  • pixabayからランダム画像を返すAPIを作る予定

• 汎用目的のモデルは、サイズが大きいほど有用

  • 特定のタスク向けにファインチューニングされたオンデバイスモデルのほうが正確

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))