Sidekick - Mac向けローカルファーストLLMチャットボットアプリケーションのオープンソース

• ユーザーのファイル、フォルダ、Webサイトをもとに情報を提供し、完全なオフライン環境でも動作
• インストール型のモデル推論エンジンを内蔵しており、必要に応じてOpenAI互換APIキーを接続して外部モデルも活用可能
• LLMが文脈情報をもとに、より正確な回答を提供できるよう設計
• llama.cppベース

主な機能

• ローカルファーストチャットボット

  • すべての会話はオフラインで行われるため、データ漏えいの懸念なし
  • 別途インストール不要で、ファイル、フォルダ、Webサイトから直接情報検索
  • GPTプロンプトや設定に関する知識がまったくなくても利用可能
  • 内蔵推論エンジンによりApple Siliconで高速に動作

• エキスパートベースの文脈管理 (Expert System)

  • テーマごとにエキスパート(Expert)を作成可能 (Computer Science, History など)
  • 各エキスパートに無制限の資料を登録可能 (RAGベース)
  • ドラッグ&ドロップで簡単に文書を追加
  • 必要に応じてWeb検索も含め、最新情報を反映可能

• 多様なモデルをサポート

  • AlibabaのQwQ-32B、DeepSeek-R1など、さまざまなローカル推論モデルを利用可能
  • OpenAI互換APIキーを入力すると外部モデルを呼び出し可能

• コードインタープリタ内蔵

  • モデルが作成したコードを直接実行して結果を反映
  • 数学や論理ベースの質問で精度向上

• Canvas

  • Webサイト、コード、テキストを視覚的に生成・編集可能
  • テキストを選択した後、LLMに選択的な編集を依頼可能

• 画像生成

  • テキストプロンプトを通じて自動で画像生成
  • 別途モードを切り替えなくても、プロンプトだけで自動認識
  • macOS 15.2以降でCoreMLベースで動作

• インライン文章作成アシスタント

  • Command + Control + Iでどのアプリでもインライン支援が可能
  • Microsoft Wordで課題の質問を入力すると自動で回答可能

• 高度なMarkdownレンダリング

  • LaTeX数式レンダリングをサポート
  • データ可視化: 表ベースで自動グラフ生成 (棒グラフ、折れ線グラフ、円グラフなど)
  • コードハイライト、コードのコピー/エクスポートをサポート

• Toolboxツール集

  • Detector: AI生成かどうかの判定とリライトガイドを提供
  • Diagrammer: プロンプトで複雑な関係図を生成
  • Slide Studio: 1行のプロンプトでスライドを作成し、PDF/PowerPointにエクスポート可能

• パフォーマンスと推論の最適化

  • llama.cppベースの推論によりApple Siliconで非常に高速
  • Speculative decodingでさらに高速化可能
  • MacBookでバッテリー寿命の延長と計算分散機能を提供

インストールと要件

• Mac + Apple Silicon (M1以降)
• RAM 8GB以上
• Releasesページから.dmgをダウンロードして実行

開発目標

• 誰でも簡単に使える個人向けローカルAIアシスタント
• インターネット接続なしでも動作する完全オフラインシステム
• 設定不要でフォルダ、ファイル、Webサイトを即座に認識
• プライバシー保護、会話内容の追跡なし
• オープンソースプロジェクトとして透明性と拡張性を確保

[galadbran]

これはインストールして使ってみたいですね