インストール型、あるいは Web UI インターフェースなど、AI を使うときに入力と出力、プロセスの動作（Web 検索、実行権限、実行など）、こうしたシステム上で見えるあらゆる挙動をロギングするツールやプロジェクトはあるでしょうか？
部分的なものでも構いません。商用サービスでも大丈夫です。
Claude Code の場合、cmd で claude と打って Claude を起動し、その後の入力と出力、動作中に Claude のプロセスが実行した作業（ネットワーク、ローカルでの挙動など）に関するロギング……
10件のコメント
ご希望のものに当てはまるかは分かりませんが、モデルトラッキングについては https://langfuse.com/ というオープンソースがあります。
自分で作ったものをコメントに残してよいのかわかりませんが、もしかするとこのようなツールをお探しなのではと思い、少しでもお役に立てればとコメントします。（禁止事項でしたら申し訳ありません。）
AIのあらゆる行為というわけではありませんが、何を参照してどのような回答が出たのかをロギングするサービスを作っています。もともとは単純なセマンティックハブからピボットしました。マークルツリーを基盤に外部台帳へハッシュを記録し、
rekorを通じて witness を適用することで改ざんを防止しました。パラメータ数が少ない非LLMモデルであれば、zkml を適用して入力に対する回答出力の整合性もチェックできます。
下記のデモ監査ログをページ下部メインのログ証明検証器に入れていただければ、どのような点をチェックできるのか確認していただけます。
ページ: https://hub.rawctx.dev/
デモ監査ログ: https://github.com/pasar6987-create/rawctx-demo-audit-log/…
質問そのものをGeminiに入れてみたら、いくつか出てきますね。このように探してみましたか？
差し出がましいですが、このようなコメントはコミュニティの雰囲気に悪影響を与える気がします。
気になることがあれば自由に質問できるほうが良いと思いますし、
自分で調べろというような言い方は、、
特に AI slop にうんざりしている人も多いので、LLM の回答に頼れというのはなおさら…
Geminiよりもコミュニティのメンバーの回答を聞きたいこともあるでしょう。もっともな質問だと思います。
私は clickstack で構築しました。otel を設定して送る形で対応しています。
LiteLLM ProxyやLangSmithで提供されている機能ではないですか？
Argos でしたっけ、あるいは CursorMafia？ Toss の開発者出身で、バイブコーディングをされている方が運営しているサービスがあるのですが、セルフホスティングも可能で、API キーやプランで複数のアカウントをモニタリングでき、どれくらいセッションが回ったか、どのツールを使ったかなど、ご質問のような機能がいろいろあるようです。
Claude だけ対応だったかはよく覚えていないのですが、カスタムで作るのであれば中身を見てみるのもよいかもしれません。
Claude Code 系であれば、cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) を一度試してみてください。
Claude Code はセッションごとに transcript (.jsonl) にすべての入力/出力と tool 呼び出し（ファイル読み取り、書き込み、bash 実行、Web リクエストなど）を記録しますが、cc-token-saver はこれをパースして、セッションごとに何をしたのか、トークンをどこにどれだけ使ったのかを HTML ダッシュボードで可視化してくれます。"このセッションで AI がどのファイルに触れ、何回コマンドを実行し、コストがいくらかかったのか" を一目で確認できます。
特に
/continueスキルは transcript を分析して既存のセッションを復元する機能ですが、transcript 分析機能は同じように使えるため、/continue ~したケースについて入力、出力、ネットワーク情報を分析して。のように指示しても大丈夫です。（LLM が適切に変形して適用します）AIだけでなく、
straceやさまざまなデバッグツールを使えばよいです。サービスとしてしっかり作るつもりなら、eBPF ベースのツールを見るとよいです。