Brave Leo、デフォルト設定で「Mixtral 8x7B」を採用

 (brave.com)
1 ポイント 投稿者 GN⁺ 2024-01-29 | 1件のコメント | WhatsAppで共有
  • Braveデスクトップブラウザ v1.62 から、プライバシー重視のAIブラウザアシスタント Leo のデフォルトLLMが Mixtral 8x7B に変更
  • Mixtral 8x7B は Mistral AI が12月に公開した オープンソースLLM で、速度・性能とオープンモデルとしての性格が Brave の製品方針と合致し、Leo に統合
  • Brave は、Mixtral 8x7B が LMSYS Chatbot Arena Leaderboard 基準で ChatGPT 3.5、Claude Instant、Llama 2 などを上回り、BBQ benchmark でハルシネーションとバイアス低減の改善を示したと説明
  • 無料の Leo と月額 15ドルの Premium の両方で Mixtral 8x7B をデフォルト提供するが、無料版はより厳しい利用量制限があり、Premium はより高い上限を提供
  • Leo はリクエストを リバースプロキシ で匿名処理し、会話を保存したりモデル学習に使ったりせず、別アプリなしでアドレスバーやサイドバーから利用可能

Leo のデフォルトモデルが Mixtral 8x7B に変更

  • Brave はデスクトップブラウザ v1.62 のアップデートに合わせて、Leo のデフォルト大規模言語モデルを Mixtral 8x7B に置き換え
  • Leo は Brave が提供する プライバシー重視のAIブラウザアシスタント で、ブラウザ内でそのままAI機能を利用できるようにする
  • 今回のアップデートにはモデル変更のほか、より明確なオンボーディング、コンテキスト制御、入力・応答フォーマット、全体的なUI改善が含まれる

Mixtral 8x7B を選んだ理由

  • Mixtral 8x7B は Mistral AI が12月に公開した オープンソースLLM で、速度と性能のために開発者コミュニティで急速に利用が広がっている
  • LMSYS Chatbot Arena Leaderboard では、ChatGPT 3.5、Claude Instant、Llama 2 などを上回る性能を示している
  • BBQ benchmark では、ハルシネーションとバイアスの低減 の面でも改善がある
  • 主な機能は次のとおり
    • より大きな コンテキスト の処理
    • 英語、フランス語、ドイツ語、イタリア語、スペイン語での対話
    • コード生成

Brave 製品内での Mixtral 活用

  • Brave はすでに、Brave Search のプログラミング関連クエリ機能である Code LLM に Mixtral を使用中
  • Mixtral の性能と オープンソースとしての性格 は、Brave が志向するオープンモデル・オープンソースコミュニティ支援と一致している
  • Brave のCTO兼共同創業者 Brian Bondy は、Leo が数万人の無料ユーザーと有料購読者に採用されており、Mixtral の追加によってさらに大きな普及を期待すると述べた
  • Mistral AI のCEO Arthur Mensch は、Mixtral が Brave Search の CodeLLM と Brave Leo に使われている点を前向きに評価した

無料・Premium のモデル選択肢

  • Leo では、ニーズと予算に応じて複数のモデルを選べる
  • Mixtral 8x7B は無料版と Premium の両方でデフォルトLLMとして提供される
  • 両プランとも Anthropic の Claude Instant と Meta の Llama 2 13B をサポート
  • 無料版 Leo の利用条件は次のとおり
    • Mixtral 8x7B と Claude Instant には厳しい利用量制限がある
    • Llama 2 13B にはより高い利用量上限がある
    • Mixtral の利用量上限に達した場合は、従来の Leo 体験である Llama 2 に戻ってAI利用を継続できる
  • Leo Premium は月額 15ドル で、Mixtral 8x7B、Claude Instant、Llama 2 13B をより高い利用量上限で提供する

プライバシー保護の仕組み

  • Leo のチャットは 非公開・匿名・安全 を前提に設計されている
  • チャットは記録されず、モデル学習にも使われず、利用にあたってアカウントやログインは不要
  • プライバシー保護の仕組みは次のとおり
    • リバースプロキシ: すべてのリクエストを匿名化サーバー経由でプロキシ処理し、リクエストとユーザーのアドレスを結び付けられないようにする
    • 応答は即時破棄: Leo の応答は生成直後に破棄され、Brave のサーバーに会話は保存されない
    • 識別子を収集しない: ユーザーと結び付けられる IP アドレスのような識別子を収集しない
    • サードパーティプロバイダーによる保存なし: AI モデルやサードパーティのモデル提供者が個人データを保持しない
    • アカウント不要: Brave アカウントを作成しなくても Leo を利用できる
    • 紐付け不能な購読トークン: Leo Premium 登録時には、購入情報と製品利用を結び付けられないトークンで購読を検証する

利用方法と提供範囲

  • Leo はブラウザに組み込まれており、別アプリや拡張機能なしで利用できる
  • Brave デスクトップユーザーは、アドレスバーに質問を入力してから「Ask Leo」をクリックするか、Brave Sidebar から Leo を開ける
  • Webページ横のチャット型サイドバーやアドレスバーを通じてAI機能にアクセスする
  • ページコンテキストでは次の作業をサポート
    • Webページや動画の リアルタイム要約
    • コンテンツに関する質問への回答
    • 新しいコンテンツの生成
    • ページ翻訳
    • ページ分析
    • 文章の書き換え
    • コード作成支援
  • Leo は11月から Brave デスクトップユーザー向けに提供されており、そのバージョンは 1.60
  • Android と iOS 向けの Leo はまもなく提供予定

関連記事

1件のコメント

 
GN⁺ 2024-01-29
Hacker News のコメント

  • Mixtral 8x7Bをローカルで実行するには llama.cpp を使えばよく、text-generation-webui のような対応ライブラリ／インターフェースと一緒に https://huggingface.co/TheBloke/Nous-Hermes-2-Mixtral-8x7B-S... を利用できる
    最小の2ビット量子化版でも RAM 20GB が必要で、まともな 4090 GPU の VRAM にオフロード可能
    4ビット量子化版は 32GB システムにぎりぎり収まる最大モデルで、29〜31GB ほど使う
    6ビットは 41GB、8ビットは 52GB なので 64GB システムが必要で、より高精度のモデルを VRAM にオフロードするには共有メモリのある複数 GPU が必要
    7B と 13B モデルは使ったことがあるが、これらのモデルや他の大型モデルはまだ試していない

    • コード関連の性能をもっと求めるなら、dolphin-mixtral のファインチューニングも試せる: https://huggingface.co/TheBloke/dolphin-2.7-mixtral-8x7b-GGU...
    • 複数 GPU の代わりに、強力な Apple Silicon マシンでもいけるかもしれない
      RAM 36GB の MacBook M3 で dolphin mixtral 4ビットを使ってみたが、推論は非常に速かった
    • 2ビットはかなりひどいので、本格的な用途には勧めにくい
    • llama.cpp より koboldcpp のほうを好んでいる
      VRAM より大きいモデルを GPU/CPU に分けて動かしやすい
    • メモリ要件を語るときは、シーケンス長も一緒に見る必要がある
      Mixtral は 32,000 トークンをサポートしているので、この部分が使用メモリのかなり大きな割合を占める可能性がある

  • Brave はこの機能や他のプライバシー保護機能のおかげで評価に値する
    リンク不可能なサブスクリプション・トークン方式なので、Leo Premium に加入すると Leo 使用時にサブスクリプションを検証するトークンが発行され、Brave は決済情報と製品利用履歴を結び付けられない
    アカウント作成に使ったメールアドレスも Leo の日常的な利用とは結び付かず、かなり独特な非公開クレデンシャル方式だ

    • とてもクールで、自分のアプリにも入れてみたい
      外部キーを使わずに、これが具体的にどう動くのか知っている人がいるのか気になる

  • 最初の Leo 発表を見逃していたようだが興味深く、プライバシー保護を意識した設計が気に入った
    チャット履歴を保存しないという点が、自分の望んでいたところだ

  • Mixtral を提供する良い API 事業者がどこか気になる
    OctoAI しか知らないが良さそうで、代替も知りたい

    • モデル開発元も自社プラットフォームを運営しており、このモデルや他のモデルを API で使える: https://console.mistral.ai/
    • Groq を今見つけたところだが、mixtral 8x7B-32k で 485.08 トークン/秒出るらしい
      価格は分からないが、api@groq.com にメールすればよさそうだ
    • OpenRouter は概して良い選択肢で、あらゆる LLM に対して統合 APIを提供している点が最も良い
      価格も提供事業者自身の価格と同じ
      ただし OpenAI/Anthropic のモデルは、各社の要件のため入力／出力フィルタリングを有効にする必要があった
    • すでに出ているサービスだが、Anyscale Endpointsをかなりうまく使っている
      非常に速く、デフォルト設定だけで同時に 10 個のジョブを処理する
      Together.ai も初期テストでは良さそうだったが、まだ大規模には使っていない
    • Mistral の商用 API と AnyScale の商用 API の両方を mixtral-8-7b で使ってみたが、どちらも使いやすかった
      M2 Pro 32GB メモリのシステムで mixtral-8-7b の3ビット量子化版も動かしていて、かなり速い
      選択肢が複数あるのは良いことだ

  • 先週の間、poe と chat.groq.com にある版を動かしてみた
    llama 70b よりはるかに良い

  • アドレスバーから直接 LLM クエリを投げられるようにした点が興味深い
    将来的に、クエリを LLM に直接送るか、既定の検索プロバイダーを使うかを判断するヒューリスティックを作るのか気になる

  • gpt4 を使ってから mistral を使うと、Retina ディスプレイを見た後に低解像度画面へ戻るような感じだ
    ずっと「でも GPT4 ならこれはできるのに」と考えてしまう

    • mixtral は使ってみたのか気になる

  • ollama で Mixtral をローカル実行している

  • AI でページを要約してくれる、良い Chrome 拡張があるか気になる
    Google 検索の上位結果をいくつか使ってみたが、動作は良いものの不要な機能が多すぎて肥大化していた