現在、Expo + React Nativeでアプリを開発中ですが、Gemma-4-E2B-itモデルをスマートフォンに直接インストールして、オンデバイスで動かしたいと考えています。
調べてみると、以下のような選択肢があるようなのですが、実際にどの方式がよく使われているのか、いまいち感覚がつかめません。
- llama.rn
- llama.cpp
- GGUF
- LiteRT / AI Edge
- MLC LLM
やりたいことは以下のような内容です。
- アプリ内でモデルのダウンロード/インストール
- ローカル推論(できれば完全オフライン)
- Expo/RNアプリ内部で利用
現時点で最もよく使われているランタイム/ライブラリは何でしょうか?
もし実装したことがある方がいれば、構成やサンプルリポジトリ、経験などを共有していただけると本当にありがたいです。
2件のコメント
同様のPoCはFlutterで進めていました。ひとまずLiteRT-lmで作業していて、https://github.com/google-ai-edge/gallery このリポジトリをかなり参考にしていました。
ああ、なるほど。私も Google Edge Gallery をインストールしていろいろ試してみたことがあるので、参考にしてみます。ありがとうございます!