オープンソース - OllamaベースのLLMモバイルクライアント

 (github.com/bipark)
10 ポイント 投稿者 rtlink 2024-11-23 | 2件のコメント | WhatsAppで共有

今年はかなり多くの時間をかけて、動画関連のLLM-RAG作業に取り組みました。そうしているうちに副産物（？）がいくつか出てきたので、その一部を整理してアプリ化し、オープンソースとして公開しました。

デモのためにアプリとWebの両方で使えるチャットUIが必要だったため、Flutterの flutter_chat_ui をベースに開発しましたが、デモだけで終わらせるのはもったいないと思い、Ollamaクライアントとしてモバイルで使えるアプリを作りました。

ChatGPT や Claude は高性能ですが、コストやセキュリティが気になる方は、自分のコンピュータに Ollama をインストールし、必要に応じた適切な LLM を入れて使ってみるのもよい方法です。
Flutter のソースなので、iPhone や Android フォン向けにビルドして利用できます。

紹介

Ollama は、大規模言語モデル（Large Language Models, LLMs）をローカルコンピュータで簡単に実行できるようにするオープンソースソフトウェアです。MyOllama を使うことで Ollama に接続し、さまざまな LLM を活用できます。MyOllama - Ollama プログラムを通じて自分のコンピュータ上で LLM を実行するため、追加の利用料金なしで AI モデルと対話できます。

主な機能

  • リモート LLM 接続: IP アドレスを通じて Ollama ホストに接続
  • カスタムプロンプト: ユーザー定義の Instruction 設定をサポート
  • 多様なオープンソース LLM をサポート（Llama, Gemma, Qwen, Mistral など）
  • ユーザー定義の Instruction 設定が可能
  • 画像認識機能をサポート（この機能に対応するモデルに限る）
  • 直感的なチャット形式の UI
  • 会話履歴: チャットセッションの保存と管理
  • iOS と Android をサポート
  • 韓国語、English、日本語をサポート

使い方

  • Ollama をコンピュータにインストールします（macOS、Windows、Linux をサポート）。Ollama のインストール方法は Ollama GitHub で確認できます。
  • ソースをダウンロードして Flutter でビルドするか、App Store から MyOllama アプリをダウンロードします。
  • Ollama に必要なモデルをインストールします。モデルダウンロード
  • Ollama がリモート接続できるように設定を変更します。
  • MyOllama アプリを実行し、Ollama がインストールされたコンピュータの IP アドレスを入力します。
  • 使いたい AI モデルを選択して会話を始めます。

利点

  • このアプリは、オープンソース LLM を効率的に活用したい開発者や研究者のために設計されています。API 呼び出し、プロンプトエンジニアリング、モデル性能テストなど、さまざまな技術的実験に活用できます。
  • 無料で高度な AI 機能を利用可能
  • 多様な LLM モデルをサポート
  • プライバシー保護（ローカルコンピュータで実行）
  • プログラミング、創造的な作業、日常的な質問など多様な用途に活用可能
  • 会話の文脈を維持できるように構成

注意事項

  • このアプリを使うには、必ず Ollama がインストールされたコンピュータが必要です。
  • Ollama ホストの設定および管理はユーザーの責任です。セキュリティ設定に注意してください。

関連記事

2件のコメント

 
chungjungsoo 2024-11-23

私も目的は異なりますが、似たようなアプリを作って現在運用しています。Ollamaも最近、対応を追加するアップデートを配布しました。
海外では特にOllamaへの要望が多いようです。

https://ja.news.hada.io/topic?id=15375