Google Web AI Summit 2024まとめ: 開発者向けクライアントサイドAI

• 2024年10月18日、Googleは初のWeb AI Summitを開催
• クライアントサイドでブラウザ内の機械学習モデルを利用することで、オフラインでも低遅延推論、コスト削減、プライバシー保護などの機能を提供

主な発表セッションのまとめ

• Transformers.js: Webのための最新機械学習

  • Transformers.jsは、Hugging FaceのPython Transformersライブラリと機能的に同等のJavaScriptライブラリで、Web上で直接利用可能
  • 1,000以上の事前学習済みモデルをサポートし、テキスト、画像、音声など多様なタスクとモダリティを扱う
  • ユーザーは事前学習済みモデルを選択することも、カスタムモデルをブラウザ上で直接実行することも可能
  • WebGPU対応により、最新GPU機能を活用した高速かつ効率的なモデル実行が可能

• Web Neural Network (WebNN) API: 現在と未来

  • WebNN APIは、Web標準として提案された新しいAPIであり、クライアントサイドで機械学習タスクを高速かつ効率的に実行するためのツール
  • WebAssemblyとWebGPUを使って、ブラウザ内でAIアクセラレーション機能を提供
  • さまざまなデバイスでAIタスクを実行できるよう、CPU、GPU、NPUといったハードウェアアクセラレータをサポート
  • APIの最新開発状況、デバイス対応、フレームワーク互換性、ブラウザ実装に関する内容を扱う

• IntelのWeb AI PC技術

  • IntelはWebNN APIを活用してクライアントサイドのWeb MLアクセラレーションを提供し、CPU、GPU、NPUでの高性能実行を可能にしている
  • 現在はChromeとEdgeブラウザで開発者プレビュー版として提供中
  • ONNX Runtime Webと統合されており、さまざまな機械学習フレームワークで利用可能
  • デモと初期ユーザーのフィードバックを通じて、「ネイティブに近い」性能を提供し、新しいWeb体験の可能性を実演

• ml5.js: Webフレンドリーな機械学習

  • ml5.jsはTensorFlow.jsをベースに作られたオープンソースライブラリで、機械学習をより身近にするよう設計されている
  • アーティスト、クリエイティブコーダー、学生向けに、シンプルで直感的なインターフェースを提供
  • p5.jsとProcessingの思想を受け継ぎ、コードのアクセシビリティを高め、学習プロセスをより容易にする
  • 画像認識、テキスト分析、ポーズ推定など多様な機能を含み、初心者でも簡単に利用できる

• WebLLM: 高性能ブラウザ内LLM推論エンジン

  • WebLLMは、ブラウザ上で大規模言語モデル（LLM）を直接実行できる高性能推論エンジン
  • WebGPUによるGPUアクセラレーションを活用して高速な推論性能を提供
  • すべての計算がクライアントサイドで行われるため、プライバシー保護が強化され、セットアップも不要
  • OpenAI APIスタイルのインターフェースを提供し、標準化された統合が可能で、チャットアプリケーションや構造化JSON生成など多様なユースケースを支援

• LangChainによるブラウザ内LLMアプリケーションの改善

  • LangChainは、ブラウザで動作する小型LLMを活用したアプリケーション開発のためのフレームワーク
  • 小規模モデルの限界を克服するため、LangGraph.jsを使って状態ベースのアプリケーションを設計し、最適化されたプロンプト技術を提供
  • ローカルLLMの利点（低遅延、プライバシー保護）を活かしつつ、限られた性能の問題を解決するための方法論を提示

• Visual Blocks: AIパイプラインの視覚的プロトタイピング

  • Visual Blocksは、シンプルなドラッグ＆ドロップインターフェースでAIパイプラインをすばやくプロトタイピングできるビジュアルプログラミングプラットフォーム
  • リアルタイムのデータ拡張とテストが可能で、多様なカスタムノードとパイプラインを通じて創造的なソリューションを開発できる
  • インタラクティブグラフィックス、LLMチェーン、コンピュータビジョン、マルチモーダルソリューションなど多様なAIアプリケーションを実演
  • コミュニティ貢献を促進し、より豊かなMLパイプラインのエコシステム構築を目指している

• Chromeの組み込みAI機能の概要

  • Prompt APIと高水準タスクAPI（要約、テキスト書き換えなど）の現状と初期ユーザーのフィードバックを共有
  • Chromeの組み込みAI機能を活用したさまざまなアプリケーションと今後の計画について説明
  • 高性能かつ安定した動作のためのAPI最適化と改善点を紹介

• TensorFlow.jsと消費財業界での適用事例

  • ブラジルの大手消費財企業がTensorFlow.jsを使って店舗内マーケティング戦略を改善した事例
  • AI技術を活用してリアルタイムで製品識別と分析を実施
  • このプロジェクトはオープンソースとして公開され、他企業でも利用可能になり、業界内の多様な応用事例へと広がっている

• ChromeのビルトインAPI利用体験

  • ChromeのAPIを使ったAIアプリケーション開発の経験と、そこから得た教訓について説明
  • AIベースアプリの性能最適化とプロンプトチューニング技術を紹介
  • Synonym Finderアプリの事例を通じて、Prompt APIの柔軟な活用法と実践的なヒントを共有

• Web拡張におけるAI活用の可能性

  • Chrome拡張機能は、ブラウザ制御、Webコンテンツの観察、UI追加が可能であり、AI機能と組み合わせることで有用な拡張性を提供
  • 現在Web Storeに登録されているAIベース拡張機能の事例と今後の可能性について説明
  • AIとChrome拡張機能の統合によってブラウジング体験を改善し、生産性を高める方法を紹介

• WebAIによる医療アクセシビリティの革新

  • WebAI技術を使って、IncludeHealthは理学療法をバーチャルに提供し、患者がいつでもどこでも個別化された治療を受けられるようにしている
  • コストとアクセス性の障壁を取り払い、より多くの患者が治療を受けられる可能性を広げる
  • 個別化データを活用して、より正確で効果的な治療を提供

• Google Sheets向けSimple ML

  • Google Sheetsアドオンとして提供されるSimple MLは、ユーザーがスプレッドシート内で直接機械学習タスクを実行できるようにする
  • WebAssembly、JavaScript、Chromeの組み込みAIを使い、複雑な機械学習タスクを簡単に実行可能
  • オープンソースライブラリを通じて、他の開発者も独自のMLソリューションを容易に開発できるよう支援

[brain1401]

JSジョア