インストール型、あるいは Web UI インターフェースなど、AI を使うときに入力と出力、プロセスの動作(Web 検索、実行権限、実行など)、こうしたシステム上で見えるあらゆる挙動をロギングするツールやプロジェクトはあるでしょうか?
部分的なものでも構いません。商用サービスでも大丈夫です。
Claude Code の場合、cmd で claude と打って Claude を起動し、その後の入力と出力、動作中に Claude のプロセスが実行した作業(ネットワーク、ローカルでの挙動など)に関するロギング……
7件のコメント
私は clickstack で構築しました。otel を設定して送る形で対応しています。
LiteLLM ProxyやLangSmithで提供されている機能ではないですか?
Argos でしたっけ、あるいは CursorMafia? Toss の開発者出身で、バイブコーディングをされている方が運営しているサービスがあるのですが、セルフホスティングも可能で、API キーやプランで複数のアカウントをモニタリングでき、どれくらいセッションが回ったか、どのツールを使ったかなど、ご質問のような機能がいろいろあるようです。
Claude だけ対応だったかはよく覚えていないのですが、カスタムで作るのであれば中身を見てみるのもよいかもしれません。
Claude Code 系であれば、cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) を一度試してみてください。
Claude Code はセッションごとに transcript (.jsonl) にすべての入力/出力と tool 呼び出し(ファイル読み取り、書き込み、bash 実行、Web リクエストなど)を記録しますが、cc-token-saver はこれをパースして、セッションごとに何をしたのか、トークンをどこにどれだけ使ったのかを HTML ダッシュボードで可視化してくれます。"このセッションで AI がどのファイルに触れ、何回コマンドを実行し、コストがいくらかかったのか" を一目で確認できます。
特に
/continueスキルは transcript を分析して既存のセッションを復元する機能ですが、transcript 分析機能は同じように使えるため、/continue ~したケースについて入力、出力、ネットワーク情報を分析して。のように指示しても大丈夫です。(LLM が適切に変形して適用します)AIだけでなく、
straceやさまざまなデバッグツールを使えばよいです。サービスとしてしっかり作るつもりなら、eBPF ベースのツールを見るとよいです。
質問そのものをGeminiに入れてみたら、いくつか出てきますね。このように探してみましたか?
Geminiよりもコミュニティのメンバーの回答を聞きたいこともあるでしょう。もっともな質問だと思います。