公開ベンチマークのトレースで、エージェントの重複実行を測定してみました。同じツールを同じ引数で2回呼び出し、結果まで同じケースを数える方式です。
6,780件のトレースで8,042件が見つかりましたが、作業完了宣言の繰り返しのようなものを除くと4,249件でした。そのうち状態を変更するツールの重複呼び出し3,432件について、レスポンスに含まれたエンティティIDを比較してみると、159件は実際に2つ作成されたことが確認できました。同じタイトルのドキュメントが2つ、同じスプレッドシートが4つ作られた、といった具合です。
ここには明確な限界があります。この数字はすべてベンチマークのトレースです。22個のモデルがタスクを解く記録であって、実際の運用サービスではありません。公開データセットを8つ調べましたが、この現象を観測できるのはこれ1つだけでした。ほとんどのベンチマークは正確性の採点のために設計されているので、重複が起きると不正解になる構造でした。
そこで、実際に運用されている方にお聞きしたいです。
- MCPツール（またはサーバー）をいくつ接続して使っていますか？
私たちが見た2つのデータセットでは、重複率に3倍の差がありました（0.80% vs 2.41%）。ツール数も20個対523個と大きく違っていましたが、タスクの性質やモデル構成もあわせて異なるため、ツール数が原因なのかは切り分けできませんでした。
実際にベンチマーク内でタスクに接続されたサーバー数ごとに分けてみると、4〜5個のときが最も高く（約2.5%）、それ以上ではむしろ低くなる非単調なパターンでした。単純に「ツールが多いほど重複が増える」という関係は見られませんでした。実運用ではいかがでしょうか。
- 重複実行を経験したことはありますか？ どのように発見しましたか？
私たちが見た事例のほとんどではエラーが出ませんでした。2回とも200で、ログもきれいだったため、事後にログだけを見ても分かりませんでした。実際には顧客から知らされて気づくことが多いのではないかと思うのですが、いかがでしょうか。
- お使いのツールはレスポンスでエンティティIDを返しますか？
これは「2回呼び出された」と「2つ作られた」を分けるポイントでした。ドキュメント作成APIはたいていIDを返しますが、メール送信は「成功」という文字列だけを返すことが多かったです。判定不能だった3,197件のうち2,011件がこのケースで、レスポンスで一度もIDを返さないツールは24種類ありました。
正解を求めているわけではなく、ベンチマークと実運用がどれくらい違うのか感触をつかみたいです。体験談だけでも大きな助けになります。
まだコメントはありません。