AIが麻酔をかけるのは一人ではなく組織全体だ:航空・医療が先に経験した自動化のアイロニー
(evan-moon.github.io)AIをうまく扱う能力と、その出力を検証する能力は別軸であり、片方が上がっている
あいだに、もう片方は静かに削られていく。この記事は、その削られ方が個人ではなく組織単位で
広がるメカニズムと、リーダーが構造で対応する方法を論じる。
- AIは低レベル労働を隠す抽象化ではなく、その席に座る確率的エージェントである。React・ORMのような既存の抽象化は、必要ならはしごを降りて因果を確認できたが、AIの上には降りるためのはしご自体がない
- 中核概念は認知的所有権であり、「このコードがなぜこのように書かれなければならなかったのかを、論理的な軌跡として最初から最後まで説明できる状態」を意味する。コードが誰の手を経たかではなく、その因果が誰の頭の中にあるかの問題である
- AIは実力ではなく、もっともらしさを平準化する。コード品質分布の最低点が上がっただけで、実力が上がったわけではなく、モデルが良くなるほど因果が空洞だという事実は見えにくくなる
- 生成コストは0に収束するが、検証コストはそのままである。1秒で出てきたコードを1時間かけて検証する人が、組織指標上もっとも遅い人になってしまう経済的圧力のため、批判的受容は意思だけでは持ちこたえられない
- 航空・神経科学・医療が先に通過した先例を引用する。自動化のアイロニー(Bainbridge, 1983)、エールフランス447便、GPS依存者の海馬萎縮、マンモグラフィCADにおける感度低下
- 処方箋は個人の決意ではなく、チームの構造でなければならない。所有権の非効率を「道徳」ではなく「保険料」として会計処理することを提案する
詳細要約
AIは抽象化ではなくエージェントである
- 既存ツールは決定論的(同じ入力なら同じ出力)なので因果追跡が可能だった。AIは確率的エージェントなので、同じ依頼でも毎回異なる結果が出て、コードは読めても「なぜそう書かれたのか」に到達する道がない
- 自分で書いたコードは因果が頭の中に残るが、AIが書いたコードは結果だけがあり、因果は頭を通過しない。知らない言語の契約書に毎回署名することになぞらえている
もっともらしさの平準化
- 面接官、PRレビュアーとしての現場観察。変数名もきれいで構造ももっともらしいが、めくってみると重複関数・責務分離の不明確さ・副作用の塊になっている
- もっとも正直な証拠は、「ここはなぜこうしたのですか?」という質問に答えが詰まる瞬間である。見た目だけ整っていて因果が抜け落ちたコードの直接的なシグナルだ
麻酔は組織単位で広がる
- 以前は作成者とレビュアーの二重の所有権によって因果が分散保管されていたが、作成もAI、レビューもAIになると、PRの因果がチームの誰の頭の中にもない状態になる
- 「AIレビューボットが要約すれば、人がざっと見てLGTM」は検証のように見えるだけで、やはり因果のない別の産出物である。「自分が作ったコードは自分が運用する」という原則は崩壊する
センスは故障の中でしか育たない
- 「実装はAI、人間はセンス(taste)だけ」という言説への反論である。センスは良いコードをたくさん読むことで育つのではなく、自分が書いたものが壊れ、その場で因果をたどった経験から育つ
- ハイデガーのハンマーの比喩(壊れたときにこそ道具の本質が現れる)とアリストテレスの実践的知恵を引用する。AIは故障そのものではなく、「故障を経験する体験」をなくすことで、センスが育つ鍛冶場を閉じてしまう
徒弟制が途切れた場所
- これまでの抽象化は因果を「隠していただけ」で、消してはいなかったため、はしごが残っていた。しかしAIの上では、そのはしごは自動では敷かれない。能力が育つかどうかは個人の意思ではなく、その人が置かれた構造によって決まる
- そのはしごをチームの中に人工的にでも再び置くかを決めるのがリーダーである
処方箋はチームの構造でなければならない
- 「因果を説明できないコードはマージしない」をレビュー規則として明文化すること、LGTMを「このコードを自分で説明できる」という引受宣言へと意味転換すること、ランダムなスポット
チェックを導入する
- 設計を人が握り、AIへ渡す方法(制約・エッジケースまで仕様化する)をチーム能力として育てる
- 絶対に手放さない拠点(コアドメイン)を選ぶこと、非効率を意図的な学習経路へ転換すること、速度だけでなく所有権も測定するが、グッドハートの法則を警戒してKPIではなく計器盤としてのみ置くこと
リーダーの危機:検証できない承認者は結局、自分かもしれない
- 二重の支えが失われると、リーダーのさびつきは個人の問題ではなく組織のデフォルトになる。リーダーが守るべきなのは全件検証ではなく、チームが書き留めた因果が本物かを見分ける識別力である
- 麻酔そのものを制御することはできなくても、麻酔が回る速度は制御できる。目標は「もう少し長く見分けられる組織として残すこと」である
まだコメントはありません。