ExcelにCopilotが入ったことが心配な理由
(simonwillison.net)- TikTokユーザー Ada James(@belligerentbarbies) が、Excelに AI Copilot が導入された状況への懸念を表明
- Excelは「私たちの経済を動かす怪物」にたとえられ、その怪物を飼いならした存在として 「ブレンダ」 が登場
- ブレンダは、あらゆる企業の財務部門にいる Excelの女神のような人物 として描かれる
- 「天から舞い降りたExcelの女神がブレンダの額に口づけした」という象徴的な表現を使用
- ブレンダの努力のおかげで資本主義が機能しているという誇張された比喩も登場
- ブレンダが作成した財務報告書を上司が修正しようとしたとき、上司は AIのほうがブレンダより賢いはずだと信じてCopilotを使用
- しかしAIは Excelを誤って扱い、報告書を台無しにし、上司はその誤りに気づかない
- その理由は、上司がExcelを理解しておらず、AIが ハルシネーション(hallucination) を起こすため
「ハルシネーションを起こさないのは誰? ブレンダ」
1件のコメント
Hacker Newsの意見
技術の利用についての2つの相反するナラティブが興味深い。
ひとつは「Brendaのような人はミスをするので自動化が必要だ」という主張で、もうひとつは「Brendaは完璧だがAIは誤りが多い」という主張だ。
実際にはこの2つは矛盾していない。私たちは理解可能な作業、信頼できる実行、観察可能なプロセス、退屈な反復業務にだけ自動化を適用する。
問題は、AIがこうした条件を満たさないときに生じる。特にAIの自律性が恐怖を呼ぶ。「なぜこの結果になったのかわからない」という不安があるからだ。
だから人々は依然として狭い範囲のAIや安全装置のあるAIをより信頼している。
従来のコードは常に同じ入力に対して同じ出力を返すが、AIは毎回異なる。
AIがなぜそのように動いたのか理解できない不透明性が問題だ。
Brendaはミスをしても原因を問い、修正できるが、AIではそれが難しい。
私もAIは好きだが、その限界はよく理解している。
一方で生成AIは予測不可能だ。
予測可能性の順に並べるなら Quick Sort > Brenda > Gen AI となる。
生成されたトークンは人間の思考過程を反映していない。
モデルが作った「推論ステップ」は実際の内部状態を示しておらず、見えないバイアスによって結論が変わる。
AIは検証が難しく、コストに見合う価値も不明確だ。
結局のところ「Brenda + AI」の組み合わせがよいのか、それともBrenda単独のほうがよいのかが核心的な問いだ。
今のAIは依然として「数年後には役立つようになるだろう」という段階にとどまっている。
私たちの組織でも Microsoft Stack にCopilotとAIが強制的に導入された。
ほとんどの機能は無効化されるか役に立たなかった。結局のところ株価を押し上げるためのマーケティングにすぎない。
また会社はAI会議録音ボットを禁止している。セキュリティ上のリスクがあるからだ。
VS Codeの自動補完やエラー解釈はよいが、すべてをチャットインターフェースに押し込むのは好ましくない。
音声認識の品質から先に改善してほしい。
以前、友人の会社には毎日財務データをDBにコミットするPerlスクリプトがあった。
そのスクリプトなしでは会社は利益を上げられなかった。管理者パスワードを知っている人はたったひとりしかいなかった。
Copilotがどれほど優秀でも、そのパスワードは知らない。
今も2008年のLinuxで動いている気がする。
TikTok動画から引用された文章だった。
yt-dlpでMP4を取得し、MacWhisperで文字起こしした。
私もExcelでLLMを使ってみたが、実際のデータでは即座に混乱に陥る。
デモはいつもきれいな財務諸表や教科書的な例ばかりだ。
実際の企業データはまったく違う。Excelではほとんど役に立たない。
私の知るBrendaたちは、単にスプレッドシートを扱っているだけではない。
実際には運用チームとの調整、意思決定への影響分析、例外処理などの複雑な仕事をしている。
Copilotはこうした文脈をまったく理解できない。「経費請求書テンプレート」を頼むと、#REFエラーが出たシートを返してくる。
改善提案を自分で行うのがよい。たとえば共有ワークブックのリンクを作って全員にそれを使わせればよい。
ただし継続的に更新しなければ、また混乱が生じる。
プロセスが変わるたびに調整が必要になり、結局はまた手作業へ回帰する。
「AIが壊してしまうのではと怖い」という問題は、Git連携したExcelのバージョン管理で緩和できる。
Copilotが作った数式やVBAの変更をコミット単位で追跡すれば、何が起きたのかを明確に確認できる。
Brendaは遅くなったが、そのおかげでシステム全体を支える方法を知っている。
Brendaは職を失い、別の国の誰かが新しい仕事を得る。
AIを使ったからといって責任が免除されるわけではない。
AIの結果を検証できるだけの専門性が必要だ。
時間を節約できることはあるが、検証プロセスのせいで思ったほどは節約できない。
私もExcelは好きだが、複雑なネストした数式はいまだに難しく感じる。
ChatGPTやduck.aiのようなモデルも使ってみたが、しばしば的外れな数式を出してくる。
何度も修正を頼んでやっと動く。
LLMが英語で説明してくれるのはよいが、結果としては時間の無駄とフラストレーションが多かった。
当初はExcelをもっと簡単にしてくれると信じていたが、今ではまだ先は長いと確信している。