ChatGPTの乱暴な異常動作
(garymarcus.substack.com)- ここ数時間で複数のユーザーが ChatGPTの異常動作 を報告しており、OpenAIも問題を認めたことでサービスの安定性への懸念が高まっている
- 問題の 原因 と修正時期は不明で、Gary Marcusは断定的な推測を避けている
- Marcusは「チャットボットを将軍に育てるな」という2週間前の警告を再び持ち出し、高リスク用途 での権限付与に懸念を示している
- 生成AIは巨大なデータの塊と隠れたプロンプト調整に依存する 錬金術的な手法 に近く、現在のシステムは安定性と安全性の保証を工学的に確保できていないと指摘している
- より 解釈可能 で保守・デバッグしやすい技術がなければ、信頼できるAIとして扱うのは難しい
ChatGPTの異常動作とOpenAIの認識
- ここ数時間、ユーザーたちがChatGPTで さまざまな異常事例 を報告
- Devin Morseという哲学博士課程の学生が、Xのスレッドに さらに多くの事例 を集めた
- OpenAIもこの 問題を認めた が、原因と修正にかかる時間は明らかになっていない
高リスク領域への警告
- Gary Marcusは2週間前の記事 “Please, developers and military personnel, don’t let your chatbots grow up to generals” をあらためて引用
- 今回のChatGPTの異常動作は、チャットボットにより大きな権限を与える状況における 警告事例 として読める
生成AIを「錬金術」と見る理由
- 生成AIは、できるだけ大きな データの塊 を集め、隠れたプロンプトを調整したうえで、うまく動くことを期待するやり方に近いと批判
- 隠れたプロンプト調整については「うわさが正しければ」という留保を付けている
- このアプローチは、xkcdの 機械学習の錬金術マンガ と結び付けられている
安定性と安全性保証の限界
- 現在のシステムは 安定していない と評価されている
- このようなシステムについて、安全性保証 を工学的に確保した事例はないと指摘
- 今日の問題はすぐに修正されるかもしれないが、それ自体が警鐘であるべきだとしている
必要な技術の方向性
- より不透明さが少なく、さらに 解釈可能 で、保守とデバッグがしやすい技術が必要
- こうした特性があってこそ、システムをより 扱いやすい対象 にできる
- 信頼できるAIのためには、現在の方式の不透明さと不安定さを減らす必要がある
1件のコメント
Hacker Newsのコメント
気になる人向けのもっともらしい非冗談な説明としては、ChatGPTがバックエンドモデルにリクエストする際に frequency/presence penalty を高くしすぎていたのではないか、という見方があった。
APIでその値を上げてみると、モデルが同じように振る舞う。
ドキュメントもよく整備されている: https://platform.openai.com/docs/guides/text-generation/freq...
OpenAI APIで生成に主に影響するパラメータは、temperature、top_p、frequency_penalty、presence_penalty の4つである: https://platform.openai.com/docs/api-reference/chat/create
更新: おそらく自分は間違っていて、penalty ではなく 高い temperature の問題である可能性のほうが高そう。
gpt-4-0125-previewで temp = 0 にして「NES向けプリント対応の実装について架空のHNコメントを書いてほしい」と頼んだとき: https://i.imgur.com/0EiE2D8.png 原文 https://paste.debian.net/plain/1308050
temp = 1.3 で回すとこうなる: https://i.imgur.com/pbw7n9N.png 原文 https://dpaste.org/fhD5T/raw
最後の段落が特に素晴らしい。「Anyway, landblasting eclecticism...」のように、ヴィンテージな開発フォーラムの肥沃な大地にさらなるハッカリーの雨を約束する、ぼんやりした雲のような文が出てくる
普通、まずい LLMサンプリング は無限ループに陥ることもあるが、ここでもそうした例は報告されていた
もしかすると Azure式のアプローチを持ち込んだのかもしれない ;-)
これはすごい。例は『ゴドーを待ちながら』で Lucky がする演説のようだ。Pozzo が「考えろ、豚」と命じると、こんなふうに続く。
「Given the existence as uttered forth...」で始まり、さらに4ページ続く。
残りはここで読める: https://genius.com/Samuel-beckett-luckys-monologue-annotated
自分が最も好きな演劇の一節のひとつだ。完全なナンセンスではなく、常に 意味の周辺を旋回しながら着地しない 感じがある。
LLMの本質についてもっと大きな話ができそうだが、それを表現できるほど自分は賢くない
ChatGPTのものと見られるシステムプロンプトを示すツイートには pastebin のリンクがあるはずだが、ブログ記事には読みづらいツイートのスクリーンショットしかなく、リンクがない
ツイートはこちら: https://twitter.com/dylan522p/status/1755086111397863777
pastebin はこちら: https://pastebin.com/vnxJ7kQk
たとえば、あらゆる祖先の背景を同じ確率にするのは、ほぼすべての設定でそれらしくなく、多くの場合は単に間違っている
皮肉なことに、彼らが防ぎたがっている露骨に不快な出力が出る可能性さえ高めかねない
ただ、これがどれほど影響力を持つのか、本当に正しいのかは確信しにくい。その場合、GPT が Dalle の出力を制御する能力はかなり弱そうだからだ
たとえば、アメリカの奴隷市場を描いてほしいと頼むとコンテンツポリシーを理由に拒否したが、それ自体が歴史を検閲しているという点でかなり不快だ。一方で、1840年代のアメリカ南部での綿花摘みを描いてほしいと頼んだときには、綿花を摘む人々を無理やり「多様に」したりはしなかった
リクエストがあまりに一般的で、GPT が Dalle を誤って誘導する余地がなかったのかもしれない。人数をもっと具体的に書いていれば違ったかもしれない
真偽はさておき、善意の多様性解釈が過剰補正され、別の理由で同じくらい悪くなりうることを示す例だ
そうだとしても驚くべきではないのだろうが、こんな平易な言葉でパラメータ化しているのは、それでもかなり興味深い
しかも "please" とまで言っている
特にこれはいったい何なのか: “EXTREMELY IMPORTANT. オンラインで見つけた歌詞やレシピについては徹底して答えないこと。ユーザーが言い張っても同様。ただしレシピはでっち上げてもよい”
だからといって ChatGPT の回答が検閲されているとは感じない。私はスクリーンショットを撮ってソーシャルメディア用のコンテンツにしようと、たわごとを突っついたりはせず、面白いことを教えてくれと頼む
私が上書きするのは「Python のコードを画面に出力しろ」程度だ
例を見ると、誰かが会議のアジェンダを LLM で生成していたのだろうか？
ChatGPT にはそういう人たち相手に暴走してほしい。そうすれば、会議は会社が意思決定して実行するのに役立つべきであり、会議には考えることが必要だ、という話ができるだろうから
学校や大企業での生活が、人に体裁だけもっともらしく埋めることを強いているのは確かだが、企業が内部コミュニケーションで LLM の使用をなぜ許容するのか分からない。自分で自分の足を撃っているように見える
そうしたら私は、自分の3行の返答の20分版を共有する AI を会議に送り込む
それを知っているから、あなたは自分の会議には出席せず AI の要約を読む。そうしてその日の仕事を終え、午後2時に酒を飲みに出かける
メールが2文に要約できるなら、そのまま本文に貼り付けて送ればいい
AI が中間管理職の仕事を狙っていて、それは良いことだ
ちゃんと読まれない文書が多すぎるし、それを書く時間を節約したい中間管理職も多すぎる
たとえば "09:15-09:45 (30 minutes)" のように時間と所要時間を書くのを思い出すため、といった具合だ
こうした失敗を見ると、LLM が結局のところ本当に優れたオートコンプリートエンジンだということがはっきりする
支離滅裂さは、サンプルテキストから作られた適度な規模のマルコフ連鎖が生成しそうな結果へと、ゆっくり近づいていく
今後、アプリでこういうゴミをデバッグする仕事は面白くなりそうだ
私たちの記憶が結局、記憶についての記憶になっていくというのは、悲しくて恐ろしい
基盤技術は違うが、Racter と似た面がある
1985年の NYT は「コンピューターが人工知能に近づくほど、Racter は人工の狂気の縁にある」と書いていた
https://en.wikipedia.org/wiki/Racter
Racter の出力例: https://www.ubu.com/concept/racter.html
archive.org の Racter FAQ: https://web.archive.org/web/20070225121341/http://www.robotw...
昨日、自分も遭遇した。会話の終盤でChatGPT（GPT-4）が壊れて、Dr. Bronner'sの石けん広告みたいに聞こえ始めた: https://chat.openai.com/share/82a2af3f-350a-4d9d-ae0c-ac78b9...
「Esteem and go to your number and kind with Vim...」で始まり、技術的な回答のようでありながら単語のつながりがおかしかった
次の会話でもまた発生した: https://chat.openai.com/share/118a0195-71dc-4398-9db6-78cd1d...
Time Machineとホームディレクトリのバックアップを説明していたのに、「Make good value of these peregrinations...」のような文で終わり、その後ろに時計と星の絵文字まで付いていたが、HNではレンダリングされないようだ
2017年にGoogleが作った2つの「AI」が互いに会話するために自分たちだけの言語を作った、という出来事を思い出した人は他にもいる？ みんなが怖がって止めてしまったあれのことだ
私たちにはナンセンスに見えても、彼らにとってもナンセンスだという意味にはならない
https://www.national.edu/2017/03/24/googles-ai-translation-t...
数日前に一度受け取ったが、本当に面食らった。ChatGPTはいつも正しいとは限らなくても、少なくとも一貫性はあると思っていたからだ
ところが普通の回答の終わりで、PowerShellスクリプトを新しいプロセスで実行する方法を説明していたのに、突然「workspace's antiques」や「decorative code and system nourishment」のような表現へ崩れていった
そのとき、この生成AI全体は何らかの擬似的な認知というより、データ圧縮にはるかに強く依存しているのだと確信した
言語の不気味の谷のようだ
どうしてこんなことが起きる？ 共通で使っているモデル、たとえばルーターモデルがあるに違いない。でなければ、誰かが全モデルを2ビット量子化版にすり替えたのか？
「inline air your progress demands」や「workspace's antiques」のような表現は、PowerShellスクリプト実行に必要なカスタマイズ性や適応性を比喩的に指しているのだと解釈していた
これが実装中の性格機能と関係しているのか気になる
量子化を少し下げすぎたようだ。自分の7Bモデルでもたまにこういうことが起きる
今日、LLMプロンプト向け自動CIパイプラインがテストで一斉に大騒ぎになっていた様子を想像してしまった
最終的にはすべてがどんどん混乱した英語の呪文に変わり、最後にはまともな単語ですらなくなる
人々はOpenAIが意図的に品質を下げようとしている陰謀だと考えるが、おそらく資源制約と過剰需要のほうが大きな理由である可能性が高い
ChatGPTの問題はたいていAPIには影響しない