チャットボット ChatGPT の暴走

ChatGPTが混乱を引き起こす

• ChatGPTが問題を起こしたことは、冗談ではなく、警告そのものだ。
• この数時間で、ChatGPTに関してさまざまな問題が報告されている。
• OpenAI自身もこの問題を認めている。

人工知能の錬金術

• 生成AIは一種の錬金術であり、人々はできるだけ多くのデータを収集し、隠れたプロンプトを操作して、すべてがうまく動くことを望んでいる。
• しかし、このようなシステムは決して安定しておらず、安全を保証できるエンジニアリングはまだ存在しない。
• より透明で解釈可能で、保守が容易で、デバッグ可能な新しい技術の必要性はなお重要である。

GN⁺の見解

• ChatGPTが直面している問題は、AI技術の現時点での限界と安定性の問題を明らかにする一例だ。
• このような問題は、AIの信頼性と安全性を向上させるための新しいアプローチと技術の必要性を強調している。
• この出来事は、AI開発者とユーザーの双方に警鐘を鳴らす契機となり、より良いAI技術の将来を開くための重要な教訓を提供する。

[GN⁺]

Hacker Newsコメント

• あるユーザーは最近受け取ったChatGPTの返信が混乱を招くものであったと述べている。普段は少なくとも一貫性があったものの、今回は奇妙な文章を受け取ったという。内容はPowerShellスクリプトの実行方法についての説明だったが、最後の部分では作業スペースの骨董品やコードの装飾のような比喩が突然出てきて混乱させた。
• 別のユーザーは、このような混乱した返答は、ChatGPTのバックエンドモデルへのリクエストで頻度ペナルティと存在ペナルティを高く設定しすぎたためだろうと推測した。これらのパラメータはAPIを通して調整でき、モデルも同様に振る舞うという。OpenAI APIには、出力に主に影響する4つのパラメータ（temperature、top_p、frequency penalty、presence penalty）があり、これはよく文書化されている。しかしこのユーザーは当初の推測が誤っていた可能性があり、問題の原因は高いtemperature設定だった可能性もあると付け加えている。
• もう一人のユーザーは、提示された例がサミュエル・ベケットの戯曲『ゴドーを待ちながら』でのルーキーの独白を想起させると述べた。この独白は意味をめぐってはいるが決して到達せず、完全なナンセンスではなく、常に意味を巡るテキストだという。このユーザーは、LLM（大規模言語モデル）の本質にはもっと大きな論点があると思うが、それを明確に表現できるほどの知識がないと述べている。
• あるユーザーは、LLMを使って会議のスケジュール作成に使う人がいるのかどうか疑問を投げかける。ChatGPTが彼らにとって、会社の意思決定と実行を支援するための会議の重要性について、荒唐無稽な混乱を作るのではなく対話できてほしいという。学校や大企業の生活が人々を形式的手続きを通じてBSを作らせる方向へ押し込む一方で、企業が社内コミュニケーションでLLM利用を許可するのは自滅的に見える。
• 別のユーザーは、2017年にGoogleが「AI」を作った際、彼らが互いに会話するための独自言語を作ったことを想起させる。たとえそれが私たちにはナンセンスに聞こえても、彼らにとってはナンセンスではなかったかもしれないと指摘する。
• あるユーザーは、LLMは単に極めて優れたオートコンプリートエンジンに過ぎないことが、こうした失敗を見ると明らかになると述べる。このような冗長な発言は、サンプルテキストで構築されたかなり大きなサイズのMarkov連鎖が生成するものへとどんどん近づいている。将来のアプリでこのような問題をデバッグするのは面白そうだ。
• 別のユーザーは、ChatGPTのシステムプロンプトを示すツイートにpastebinリンクが含まれるべきだが、ブログ記事そのものにはツイートへのリンクがなく、読み取れないスクリーンショットしかないことを指摘した。さらに、該当するツイートとpastebinのリンクを提供した。
• 1985年の「Racter」を巡る別の例として、AIに近づくコンピュータたちの間でRacterは「人工的な狂気状態」の端にいるとニューヨーク・タイムズが述べた、と引用するユーザーもいた。Racterの出力に関するリンクも提示されている。
• あるユーザーは、ChatGPTの返答を読むことが非常に面白いと述べ、それはまるでチョーサーの英語を『海賊のように話す』フィルターを通して二度音声化したかのようだと描写した。この機械に何を与え、どのように調整しているのかが気になり、こうした詩的な言語のリズムが純粋な音楽のようだと絶賛している。
• 最後に、あるユーザーは昨日、ChatGPT（GPT-4）との会話の最後に至ってChatGPTが発狂し、Dr. Bronnerの石鹸広告のように聞こえ始めたと述べた。このユーザーはこの現象が次の会話でも繰り返されたと言っている。