AIの回答には誤りが含まれる可能性がある
(os2museum.com)- Google検索のAI要約が、実在しないIBM PS/2 Model 280についてもっともらしい仕様をでっち上げ、同じクエリでも回答が次々に変わる
- 誤答はModel 280をISAベースの286システムとして説明しつつ、1987年発売、1MB RAM、640KB RAM、VGA、1.44MBドライブといった細部を混在させている
- 一部の回答は286システムが128MB RAMまで拡張できるとしていたが、286の構造上の限界は16MBであり、回答内部でも矛盾が露呈している
- 同じクエリを何度も繰り返すと、「Model 280はPS/2シリーズの特定モデルではない」という正しい答えも出るが、その割合は**約10%**にとどまる
- AI検索要約は細部情報が多いほど非専門家にはより説得力を持って見えるため、「AI responses may include mistakes」という警告を軽く受け流すことはできない
存在しないPS/2 Model 280の事例
- 1992年ごろのIBM PS/2 Serverシステムを探すためにモデル名をGoogleに入力したが、実際に探していた機械は複数の486プロセッサとMicrochannel(MCA)を使うシステムだった
- 検索結果のAI要約は最初から対象を外した回答を返した
- PS/2 Model 280を286ベースのシステムのように説明した
- MicrochannelではなくISAベースであるかのように記述した
- 同じクエリを再実行しても回答文が変わるだけで、依然としてModel 280をISAベースの286システムとして説明した
繰り返すほど変わる偽の仕様
- AI要約はクエリを繰り返すたびに異なる仕様を出してきた
- ある回答では、Model 280は1MB RAMを搭載し、6MBまで拡張できるとした
- 別の回答では、基本RAMは640KBだとした
- 1.44MBドライブとVGAグラフィックスを備えているかのように繰り返し説明した
- 別の試行では、Model 280を128MB RAMまで拡張可能な286システムとして紹介した
- 286には構造上16MBの限界があるため、この説明は技術的に正しくない
- AI要約は、Model 280がIBMパーソナルコンピュータ製品群における重要な進歩であり、PS/2を人気があり信頼できるプラットフォームとして定着させたとも述べた
核心的な誤り: Model 280は存在しなかった
- 最大の問題は、PS/2 Model 280というモデル自体が存在しなかった点にある
- 誤ったモデル番号を入力したにもかかわらず、Google AIは一見もっともらしい説明を作り上げた
- この種の回答は細部情報が多く、文章も自然なため、事実でない内容でも簡単に信じられる情報のように見えてしまう
たまにしか出ない正答
- 同じクエリを十分に繰り返すと、正しい答えが出ることもある
- 「Model 280はPS/2シリーズの特定モデルではなかった」
- クエリ自体に誤りがあったという趣旨の回答を返した
- しかし、繰り返しクエリにおける正答は**約10%**程度にとどまり、ほとんどの試行ではAIが内容を作り上げた
- 幻覚回答は役に立たないだけでなく、誤った答えのほうが正答よりもより「本物」らしく見えることがある
AI検索要約が危険になる瞬間
- 専門家なら、回答内の不一致に比較的早く気づける
- たとえばWikipediaのList of IBM PS/2 Modelsを確認すれば、Model 280が存在しないことを確認できる
- 非専門家はAI検索要約から助けを得られる可能性が大きい一方で、誤答にだまされる可能性も高い
- 毎回違う答えを出し、ごくたまにしか当たらないリサーチ補助者は信頼しにくい
- Googleの「AI responses may include mistakes」という文言は単なる注意書きではなく、AI生成要約は現実と無関係な完全な虚偽情報であり得る
2件のコメント
LLMには要約だけをさせるのがよいように思います。データの出典を見つけて検証するプロセスが必ず必要です。
Hacker Newsのコメント
Google検索のGeminiは文脈や正確性を気にせず、検索語を支持しているように見える内容を勝手に作り上げる。完全な作話（confabulation）に近く、実際に試すとばかばかしく感じる
探している結果をすでに知っているときの記憶補助としては使えるが、知らない状態ではまったく信用しにくい
Google Veoの出力も詳しく見ると同じように穴だらけで、出力に推論が介在した痕跡がまったく見えない
Veoのおかしなエラー: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
Tesla FSDが奇妙に動作した事例: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...
Ben Evansも言うように、「良くなる」という約束には限界があり、結局は空虚な約束だ
昨日、AI Overviewでベルリンの公演会場で開かれる追悼イベントを探したところ、すでに亡くなっているイタリアの音楽家の存在しないアルバムを丸ごと作り出した
単に会場名を持ってきて、そのアーティストの最も重要な作品だと主張したようなものだった
面白いことに、その回答をChatGPTに貼り付けたら、AI Overviewのミスを辛辣かつ皮肉たっぷりにこき下ろしていて笑ってしまった
以前なら絶対に通らなかったはずなのに、最近はだいたい許される雰囲気だ
なぜ虚偽や不正確な結果を受け入れなければならないのか分からない
情報衛生はもともと重要だったが、今後は本当に必須のスキルになりそうだ
[年式] [メーカー] [モデル] [機能]でGoogle検索した。昔のGoogleなら完璧に処理できたはずの検索なのに、今ではページの90%が間違ったモデル、間違った年式、さらには間違ったメーカーについてのAIの残骸だったいくらか役に立つYouTubeが1つだけあったが、ページの一番下まで行ってようやく、まったく別の車のフォーラムにある昔ながらのGoogle検索の答えを見つけた。CamaroZ28.comに感謝
実際にはその近くには刑務所、Costco、いくつかの田舎の住宅、そして何もない空間しかないことを知っている
検索ページの最上部を完全に虚偽で捏造されたゴミで埋める様子には驚く
雇用法のようなテーマや他の検索でも、しばしば悪い情報を返してくる
人々が実際に依存してさえいなければ、笑い話で済んだだろう
この現象は本当に苛立たしい。LLMの確率的性質と限界は理解している、少なくとも知ってはいるのに、妻や友人たちがLLMに向かず信頼できない作業に誤って使っていることを指摘すると、ただ手を振って、私をAI懐疑派として片付けてしまう
いまだにLLMに計算させ、たとえば会計の割り勘のようなことを任せ、事実データの照会結果も100%信頼でき正確だと扱っている
要点は、チャットボットは幅広い作業ができるのだから、こういうことのためにまったく別のアプリへコンテキスト切り替えする理由があるのか、ということだ
他のユースケースでもこういうことはさらに頻繁に起きそうで、結局は使いやすさがすべてに勝つ
「AIの回答には誤りが含まれる可能性があります」のような単純な免責文言や、ChatGPT下部の「ChatGPTは間違えることがあります。重要な情報は確認してください」のような文言は、もはや明らかに不十分
実際、特定分野でLLMのハルシネーションによる被害のニュースが何年も続いているのに、人々はいまだに引っかかっているのだから、提供者はハルシネーションを完全に直せない以上、ユーザーに誤りの可能性をはるかに積極的に教育すべき
摩擦が増えても必要
摩擦はすでに存在している。AI企業もクラウド提供者もみな「検閲済みモデル」を運用していて、各レイヤーごとにさらに多くの検閲が追加されている
ここでいう、より大きな摩擦とは何だろう？ ポップアップをもっと出すことなのか？
前者を選べば、事実上モデルホスティング事業を潰すのと同じ
企業はモデルを開発して社内で使い、従業員に提供することはできるだろうが、公開APIはなくなるはず
企業同士は法的拘束力のある契約で互いにモデルを使用したりライセンスしたりするだろうが、一般大衆は法的リスクを緩和する仕組みなしにはアクセスできなくなる
数年後に態度が軟化すれば、一部の企業が境界を押し広げ始めることはあるかもしれない。法務承認プロセスを自動化したり、登録を開放したりする形で
Google Mapsが怪しい地域のような間違った場所に連れていったときもニュースになり、PR危機対応をしなければならなかった
今では、ああいう免責文言を1つ付ければ終わり
こうした技術が受けている世論の寛容さは不均衡で、気が滅入る
一度やられることほど効果的な免責文言を作るのは、かなり難しそう
AnthropicのCEOが最近、大量失業について語ったように、彼らは何度もそういう言い方をしてきた
誤りの可能性を強調することと、人間労働の代替という約束がどう共存できるのか分からない
言語モデルは何かを知るように設計されたものではなく、何かを言うように設計されたもの。だから知識モデルではなく言語モデルと呼ぶ
すでに生成された単語が与えられると、その次の単語を、その並びがどれだけ一般的かに基づいて次々に追加する
毎回答えが変わる理由は、次の単語を選ぶときに疑似乱数生成器が影響するから
モデルは最も可能性の高い次単語の確率分布を見て、
temperatureという設定値が0ならランダムな影響がないため、常に最も可能性の高い次単語、つまりtop-1 MLEが選ばれるGUIでは実際には0に設定できないが、そうすると私たちが「とても退屈」と分類するような出力になる
したがってモデルはIBM、PS/2、80286と80486、CPU、280、特定のモデル自体について知っているわけではない
ある回答はモデル280が存在しないと示唆しているようだが、それが別のプロセスで生成されたのか、ユーザーフィードバックを強化学習で反映する方式のせいなのか、それとも同じランダムな次単語選択から運よく出た結果なのか気になる
クラウドUIがtemperature 0を許可しない理由は、モデルが時々トークンの無限反復に陥るためで、大衆がそれを見ると没入感が壊れる可能性があるからだと思う
Googleは知識の提供を単語の提供に置き換える誤りを犯しているように見える
ただし実際の事業である広告収益の観点では、違いはないのかもしれない
Google検索のウェブサイトでは、「AIの回答には誤りが含まれる可能性があります」という弱い免責文言が小さな文字で、しかもShow moreボタンの後ろに隠されている
OpenAIがChatGPTをリリースしたとき、コンピュータサイエンス専攻ではない教授に、これは人々が考えるようなAIではなく、現時点ではAIのように見える計算的なお遊びに近いものだと説明しなければならなかった
ところがこのお遊びが、宿題の不正には非常に優れていることが分かった
品質や著作権をあまり気にしないなら、他のさまざまな種類の仕事でもごまかしとして使いやすい
内部で何をしているかをめぐって「真のスコットランド人ではない」のような議論をするのは無意味
人間の脳が内部で何をしているのかも、私たちは知らないから
Geminiは、人々が普通に入力する質問には答えるよう調整されているように見えるが、より伝統的な形の検索語句を入れると、でっち上げのたわごとが出てくる
多くの人が AI Overview を神託のように信じているのを見た
直接LLMを使わない「一般的な」人たちがAIとやり取りする方法はこういうものだと思う
ニュースへの信頼のように年齢層で分かれるものでもなく、AIの出力への信頼はほとんどの人口集団を横断しているようだ
人間という種は、根拠なく自信満々なコンピュータの回答が好きらしい
10年以上にわたり、検索ページのその位置には「ページからの抜粋」UIがあり、それは筋が通っていた
クリックを1回減らしてくれたし、元サイトを信頼し、Googleの抜粋抽出技術もある程度信じるなら、疑う余地はあまりなかった
たとえば簡単な医学的な質問を検索してMayo Clinicの抜粋が出れば、Mayo Clinicを信頼しているので十分だった
ときにはGoogleの抜粋をコピーしてからページに入り、
ctrl-fで探すこともあったGoogleは評判の良い出典をかなりうまく選んでいたし、抜粋も常にページ内で文脈を歪めない形で見つかったので、信頼を築くには十分だった
時間がたつにつれ、そのシステムは信頼できる出典を選ぶ能力が悪化し、おそらくSEOに攻略されたためだろう
ところが今では、その場所をAI Overviewが置き換えている
AI自体に反対しているわけではないが、AIは「信頼する出典から取った検証可能で関連性のある抜粋をミリ秒で見せること」とは根本的に違う
最初の試みで確認されなければ、望む答えが出るまで質問の組み立て方を変える
すべてが信頼できず誤解を招くSEOスパムの残りかすになってしまったからだ
AI Overviewが入ると、これがどれほど悪化するかを考えるだけでぞっとする
「プリンターはどのように動くのか」と検索したら、滑車とロープのシステムで作られていると教えられ、人々がそれを盲信する時代に入るのかと思う
私が関心のある分野で何十回も検索して見た誤りの規模はまさにその程度で、誰もがもっと突拍子もない、あるいは明らかに危険な回答のスクリーンショットも見ているはずだ
「AIの応答には誤りが含まれる可能性があります」は、AI論争全体に向けて叫びたい最も重要な一文だ
エネルギーと気候への影響とともに、AI倫理やAI安全性の議論の中心問題もこれであるべきだ
この過熱が制御されないまま続けば、私たちに最も大きな害を与える2つはまさにこれらだ
しかし人々はそれに気づかず、全能の神託のように扱う
結局は統計モデルなので、猿がShakespeareの作品を生み出す確率もゼロではない
だからGoogleは検索を根本的に取り違えた。もはや結果の正確性には関心を払わず、素早い回答とその下のスポンサーリンクの束を提供することに主に関心があるように見える
人を死なせたり、法的問題に巻き込んだりしかねない内容のスクリーンショットも見た
今では「否定的な答えを出すより、幻覚を作るほうがよい」へ進化したように見える
AIは、どんな話題についてもものすごい自信で何かを語れるあの一人に似ている。だから、バーでの会話以上に、なぜ信じるべきなのかよくわからない
AIには自信のなさを示すシグナルがなく、従来のアルゴリズムは常に正しい答えを返すという経験のため、人々は機械の出力を高く信頼する
批判的に見る人の割合はごくわずかだろう
いろいろな意味で勇気は必要だ。John Ratzenbergerに訴えられるリスクもあるから
数日前、ChatGPTとPythonコードで経験したことがある
Gunicornのロガークラスを修正して、特定のURLパスを除外したかった
すべてのリクエストごとに実行されるホットなコードパスなので、3つの解決策を作り、どれが最も速いか見たいと言った
startswithを使うリスト＋ループ、コンパイル済み正規表現、そしてパスのタプルを渡すstartswithを比較したChatGPTはベンチマークコードと結果を作ってくれ、正規表現の解法がPython標準ライブラリでは最も良く速いと言った
信じられなかったので自分でベンチマークを回したところ、タプル版が正規表現より5倍以上速かった
その結果が違うと伝えると、ほとんどそのまま「そうだった、訂正してくれてありがとう。タプル版が実際には最速です！」というように答えた
ベンチマークコードを書く数分は節約してくれたが、自分が100%確信できない内容については、その出力をほとんど信用していない