- Google AI Edge は、モバイル、Web、組み込み機器全般での AIモデルのデプロイ を容易にサポートする
- 統合された クロスプラットフォームフレームワーク により、Android、iOS、Web、組み込み環境で同一モデルを実行可能
- 多様な 機械学習フレームワーク（JAX, Keras, PyTorch, TensorFlow） との互換性を提供する
- モデル変換の可視化・デバッグ、カスタムパイプライン構築などの 高度な開発ツール を提供する
- Gemini Nano などの オンデバイス生成AI 環境を Android および Chrome プラットフォームで活用可能
Google AI Edge の紹介
- Google AI Edge は、オンデバイスおよびクロスプラットフォームAIデプロイ のためのソリューション
- モバイル、Web、組み込みアプリケーション環境など、さまざまなプラットフォームに AIモデルを効率的にデプロイ・実行 できるプラットフォーム
主な特徴
- デバイス内保持: データがローカルに非公開のまま保持され、レイテンシの低減 とオフライン動作をサポートする
- クロスプラットフォーム対応: Android、iOS、Web、組み込み環境で 同一モデルの実行 が可能
- マルチフレームワーク互換性: JAX、Keras、PyTorch、TensorFlow など 複数の機械学習フレームワークとの互換性 を提供する
- AIエッジスタック全体: 柔軟なフレームワーク、ターンキーソリューション、ハードウェアアクセラレータ を統合的にサポートする
既成ソリューションと柔軟なフレームワーク
一般的なAIタスク向けのローコードAPI
- 生成AI、ビジョン、テキスト、オーディオなどの 一般的なAIタスク を簡単に処理できる ローコードのクロスプラットフォームAPI を提供する
- MediaPipe ベースのソリューションにより、迅速な開始と適用 が可能
カスタムモデルのクロスプラットフォームデプロイ
- JAX、Keras、PyTorch、TensorFlow などで 学習済みの既存AIモデル を、Android、iOS、Web、組み込み機器で 高性能に実行 できる
- LiteRT のサポートにより、運用効率 とデプロイの利便性を確保する
モデル変換および可視化ツール
- モデルの 変換および量子化プロセスを可視化 する機能を提供する
- 性能ベンチマークオーバーレイ により、AIプロジェクトの ホットスポットのデバッグ が可能
カスタムMLパイプラインの構築
- 前処理および後処理ロジックを含め、複数のMLモデルを連結 して 複雑な機能パイプライン を構築できる
- GPU、NPU ベースの アクセラレーションパイプライン を CPU をブロックせずに実行可能
Android および Chrome の Gemini Nano
- Google の最新 オンデバイス生成AIモデル である Gemini Nano により、Android や Chrome などのさまざまな環境に 生成AI機能 を搭載できる
結論
- Google AI Edge は、分散型オンデバイスAI技術のデプロイ のための強力な選択肢
- クロスプラットフォーム互換性、多様なフレームワーク対応、開発生産性ツール、最新の生成AI環境により、スタートアップおよびIT開発者コミュニティに効率的で強力なAI導入体験 を提供する。
1件のコメント
Hacker Newsの意見
私見では、tensorflow liteとmediapipeの組み合わせは一時期は素晴らしかったものの、この3年間はGoogleにほとんど放置されていたように感じる。Mediapipeには意味のあるアップデートがほとんどなく、よく使われるモデルも古かったり遅かったりすることが多い。TF LiteはApple ANUのようなNPUをサポートしていたが、mediapipeではまったく対応していなかった。そしてMLKit、Firebase ML、TF lite、LiteRTなど、ブランドもあまりに混在していた。今はhugging face transformersやtransformers.jsライブラリと一緒にonnxruntimeを使うか、executorchが成熟するまで待つほうが良い選択だと思う。公式にtensorflow lite / liteRTへポーティングされた最新のSOTAモデル（SAM2, EfficientSAM, EdgeSAM, DFINE, DEIM, Whisper, Lite-Whisper, Kokoro, DepthAnythingV2など）はほとんど見たことがなく、基本的にすべてpytorch中心だが、ONNXとMLXのコミュニティは依然として大きい
https://github.com/google-ai-edge/gallery では、デバイス上で直接実行されるML/GenAIのユースケースを集めたギャラリーを見ることができる。ここでモデルをローカルで直接試したり使ったりできる
オンデバイスML向けのソリューションが増えること自体は良いことだと思う。ただ、自分が使う特定のユースケースでなければ、積極的に使うかどうかは疑問だ。任意の入力と出力を持つ新しいモデルを追加する難易度も見当がつきにくい。デバイス間でのモデル推論にはOnnxを使ってきたが、Onnxは本当に低レベルなので、望むどんな重みでも適用できる。多くの作業ではtransformers.jsでOnnxをラップできるので、デコードなどの反復的な作業を省ける（ビームサーチを自分で実装しなくてもよい）。上で挙げたガイドに似た、より包括的な資料は https://github.com/huggingface/transformers.js-examples にある。私が言及したさまざまなソリューションは https://ai.google.dev/edge/mediapipe/solutions/guide で確認できる
これはTensorFlow Lite + MediaPipeを新しい「ブランド」として再包装したものだ
このソリューションを使ったことがある人はいるだろうか。私はカスタムのpytorchモデルをcoremlにエクスポートしようとしてかなり長い時間苦労し、未対応のものが多く、セグフォで何度も止まり、さまざまな初歩的なエラーにも悩まされた。誰か、このソリューションはそこまで険しくないと保証してくれるとありがたい
実際にこれでテストしてみたが、私には純粋にpytorchモデルを.tfliteモデルへ再構成するためのものに見えた。私の場合はカスタムのfinbertモデルに適用したが、モデルサイズはほとんど変わらなかった。量子化されたバージョンを変換したものの、出力はかなり異なっていた。ドキュメント上ではstandard pytorchモデル、たとえばtorchvision.models系に合わせていたと記憶している。なので、そうした系統のモデルならもっと良いかもしれない。ちなみに私が試したのは約1年前の話で、そのおかげで大きなバグ修正の前を運よく避けただけかもしれない
詳しい情報はここにある https://ai.google.dev/edge/mediapipe/solutions/guide また、オープンソースのリンクは https://github.com/google-ai-edge/mediapipe だ。私の見るところ、これは実際にデバイス（エッジ）上で動くAIモデルをデプロイするための統合的な方法だ。いわば「AIスタックにおけるJavaScript」のような立ち位置だと推測できる。この技術のターゲットユーザーが誰なのか気になる
mediapipeの一部のモデルはかなり実用的だが、mediapipe自体は2019年ごろからある古い技術だ。常にAIのエッジ実行、特にビジョンAI（たとえば顔追跡）に焦点を当ててきた。顔追跡のようなものは今でも有用だが、画像認識などでは世界が大きく変わってしまった
ターゲットオーディエンスというなら、クロスプラットフォームでMLモデルをデプロイしたい人たちだと思う。特に、TFLiteランタイムだけでは解決できない追加コードを支える必要がある場合だ。LLMやコンピュータビジョンのようなユースケースが適している。たとえば手のジェスチャ認識器をデプロイするなら、次のような複雑な処理を経ることになる: 入力画像を特定のカラースペースとサイズに前処理し、画像をGPUへコピーし、手検出用のTFLiteモデルを実行し、出力をリサイズし、ジェスチャ認識用のTFLiteモデルを実行し、有効な結果へ後処理する。これをiOSとAndroidの両方にデプロイするには、単純なTFLite実行以外にも付随コードが膨大になる。GoogleがMediapipeで選んだやり方は、こうした一連のパイプラインと共通の処理ノードをC++ライブラリの形でまとめ、必要な部分だけを選んで活用することだ。このライブラリはクロスプラットフォームにコンパイルでき、GPUアクセラレーションのオプションも提供する。Google内部では、TFLiteランタイムにこうした機能を拡張するか、それともMediapipeのような別ライブラリを作るかで検討があったのだと思う。結論としては、TFLiteは「テンソル計算」そのものに集中させ、LLMや画像処理のようなより広い範囲の作業は別ライブラリにオフロードしようという方向だったようだ
これが新製品なのか、それとも既存のMediaPipe技術をひとつのストーリーに束ねたマーケティングページのようなものなのか気になる。最初はかなり期待したが、「Google AI Edge」がいったい何なのか混乱した。そして調べてみると、2年ほど前に公開された https://developers.googleblog.com/en/introducing-mediapipe-solutions-for-on-device-machine-learning/ をリブランディングして出したもののようだ
これは、すでにCoreMLやTimyMLのようなフレームワークで提供されているものと比べると数年遅れたソリューションだ。そしてGoogleはまず、次の四半期の業績のために製品自体をすぐ廃棄しないことを示す必要がある
実際にはそれは正しくない。両者はまったく別物だ。CoreMLはAppleエコシステムに限定されるが、PyTorchモデルをCoreML（.mlmodel）へ変換してiOS/Macのアクセラレータと一緒に動かせる。Google Mediapipeはクロスプラットフォーム（ios/android/web）でMLフローを動かす巨大なC++ライブラリだ。Tensorflow Lite（今はLiteRT）まで含んでおり、画像のリサイズのような一般的な前処理もできるグラフプロセッサの役割を持つ。Googleが製品を早く打ち切るというミームはあるが、Mediapipeはオープンソースなので少なくともその点は認めるべきだ。私はMediapipeのforkでiOS/Android向けのコンピュータビジョン製品を作ったことがあるが、非常に複雑だったものの、うまく動いた。CoreMLでは決して作れないクロスプラットフォームソリューションだ
TensorFlow Liteには、この数年で数十億台のデバイスで実績を積んできた経歴がある。このソリューションはMediapipeとそれをひとつに束ねてリブランディング／拡張したものだと見ている。GoogleはオンデバイスMLに5年以上本気で投資しており、突然やめるとは思えない。ただ、名前を頻繁に変えるので混乱を招いているのは確かだろう
生成AIの部分はAppleエコシステムにはまだないのではないか。もしGoogleのようになるなら大きな変化だと思う。個人的にはチャット関連の機能がとても有用に見える。そしてSwift Assistはいったいいつ出るのかという気持ちだ
単なるリブランディングされたtensorflow liteだ。私は2019年からedge deviceで使っている。CoreMLも素晴らしい
CoreMLは、AppleがTensorFlowを見て協業せずに似た機能を自前で作ったことで生まれたものだ。TFはCoreMLが発表された時点で、すでに2年前から存在し、成功したフレームワークだった。今に至るまでCoreMLは実質的にプロプライエタリなBLASインターフェースにすぎず、業界で広く使われてはいない。iOS開発者の視点というのは恐ろしい
こうした作業はWebLLMでも実行できる