AIエージェント180体で1日でiOSアプリのバグ55件を見つけた検証パイプライン
(velog.io/@soungjunban)21言語で運用中のiOS SNSアプリ(約13万行)をLLMエージェントで監査するパイプラインを作り、1日回した記録です。
- バグを見つけるファインダーと検証者の役割を分離し、判定基準を多数決ではなく「反駁失敗」にすることで誤検知0を実現しました
- 発見レポートはJSONスキーマの強制出力で受け取り、幻覚レポートを構造的に遮断しました
- 既知のバグ一覧をプロンプトに注入して重複発見を防ぎ、新規発見が0になるまでラウンドを繰り返す終了条件を使いました
- 結果: 6ラウンド、エージェント約180体、確定バグ55件を修正、検証段階が見つけた中途半端な修正3件
どのようなレンズでfan-outしたのか、なぜ修正したコードを再び反駁させたのかといった設計判断とあわせて、静的監査では見えないもの(限界)も整理しています。
まだコメントはありません。