私たちは「Bullshit」を自動化した
(cst.cam.ac.uk)- ChatGPT のような生成AIは、論理や事実の検証よりも、インターネット上のテキストをもっともらしく予測・模倣する方式で動作するため、Bullshit の自動化だと批判されている
- Rodney Brooks による「もっともらしく聞こえることをでっち上げる」という要約は、Emily Bender・Timnit Gebru の stochastic parrots 論文や、Murray Shanahan による大規模言語モデル分析と通じている
- Harry Frankfurt の定義では、Bullshit は嘘のように真実に反する発話ではなく、真実を気にかけない発話であるという点で、ChatGPT の出力と結びつく
- Geoff Hinton は、チャットボットの危険を超知能そのものよりも、知能がなくても説得力のあるテキストを大量生成する能力に見いだし、政治的説得の自動化を懸念している
- AI が価値ある労働よりも置き換えやすいのは、無意味な報告書・伝達・苦情処理のような Bullshit Jobs かもしれず、規制の焦点も AI 自体より Bullshit の生産と拡散に向けるべきだ
ChatGPT が Bullshit 生成器に見える理由
- ChatGPT は 論理や事実 を検証するよりも、インターネット上で見つかったテキストのパターンを模倣するアルゴリズムに基づいている
- Rodney Brooks は ChatGPT を「もっともらしく聞こえることをただでっち上げる」システムだと要約している
- 「もっともらしさ」は、インターネット上のテキストを模倣するアルゴリズムと結びついている
- 「でっち上げる」は、論理や事実よりも、予測されるテキストのランダム性に依存していることを指す
- Emily Bender、Timnit Gebru とその同僚による stochastic parrots 論文や、Murray Shanahan による大規模言語モデルの議論も、同じテキスト予測の原理をより技術的に扱っている
Frankfurt の定義: 真実に無関心な発話
- Harry Frankfurt の On Bullshit では、Bullshitter は嘘つきのように真実の権威を否定はしないが、真実にまったく注意を払わない
- この定義は、ChatGPT の動作原理に関する Brooks、Bender、Shanahan、Hinton の分析と通じている
- Frankfurt は Bullshit を、嘘よりも 真実にとってさらに大きな敵 だと見なしている
- 嘘は少なくとも真実との関係を前提としている
- Bullshit は、話し手が自分の言っていることを分かっていない状況でも話さなければならないとき、避けがたい
説得力のあるテキストが生む政治的リスク
- Geoff Hinton は、チャットボットの主要な危険を 超知能そのもの よりも、知能がなくても非常に説得力のあるテキストを作る能力に見いだしている
- この懸念は、Donald Trump や Boris Johnson のような政治的説得のスタイルと結びついている
- 証拠や論理が公的な議論で尊重されない世界では、証拠や論理なしで動くシステムが、超人的に説得力のあるテキストによって、悪しき政治指導者を模倣し、置き換えることができる
Bullshit Jobs と AI 自動化
- David Graeber の Bullshit Jobs は、Elon Musk が英国首相に語った「誰も働く必要のない」AI の未来と結びつく
- Graeber は、英国の労働者の 30% 以上 が、自分の仕事は社会に何の価値ももたらしていないと信じていると分析している
- こうした仕事には、無意味な報告書作成、人と人のあいだのメッセージ伝達、解決できない不満の聞き取りが含まれる
- こうした業務のあらゆる部分は ChatGPT が容易に実行できる
- 大学教育の一部は、若者を官僚的手続きに従わせ、ほとんど読まれない長文を書かせるよう訓練している可能性がある
- Boris Johnson のような人物を生み出す教育では、真実への細やかな注意よりも、言語的流暢さ と面白い議論のほうが高く評価されうる
学習データと規制の焦点
- ChatGPT のような AI システムは、Twitter、Facebook、Reddit のような巨大な Bullshit アーカイブ と、Wikipedia や専門作家の文章のように実際の事実が混ざった資料によって学習される
- ChatGPT の内部には、どの部分が真実かを確認するアルゴリズムは存在しない
- Twitter が真偽を気にしない政治家の Bullshit を助長するように、彼らが残した記録は自動 Bullshit 生成器の訓練に使われうる
- 規制すべき対象は AI 自体ではなく Bullshit である
- 価値ある仕事と、喜んでなくしてよい仕事を見分けるには、AI サミットよりも Bullshit を扱う会議が必要だ
さらに読む
- Designing Alternatives to AI は MIT Press から 2024 年に刊行予定で、オンライン無料プレビュー が提供されている
- Murray Shanahan の Talking About Large Language Models は arXiv:2212.03551 で読める
- Rodney Brooks 関連の記事は IEEE Spectrum の “Just Calm Down About GPT-4 Already” に掲載されている
1件のコメント
Hacker News のコメント
この記事はいろいろな面で正しいと思う。LLMは「これは正解っぽく通用するか」という原理で動いているようで、「これがこう動くのだから、質問への合理的な答えはこうだ」という形ではない
ただし、ある時点ではLLMが実際に良い回答を作り出すことも認めるべきだ。コード片を求めたときにきちんと当てる場合のように、違和感テストを通った答えが偶然良い答えであることもあるが、いずれにせよ良い答えではある
重要なのは、LLMが当てたかどうかを知るには、すでに自分が何をしているのかを分かっていなければならないということだ。歴史学者ではない私がcGPTに第一次世界大戦の原因についてエッセイを書かせると、もっともらしく聞こえるが、実際の歴史学者が重要視する内容を扱っているかは分からない。少し読んだことのある一般人が正解だと思いそうな平凡な答えを出しているだけだ
たいていの人は一つの分野でしか専門家ではないので、自分が知らないあらゆる分野でLLMにだまされないようにする方法はない。だから自分の専門領域の外で使うときは注意が必要だ
現段階のLLMは専門家向けの近道ツールだと思う。自分が担当する領域のコード片が正しいか間違っているかは分かるが、その領域で働いていない人はだまされる可能性がある
LLMは、一貫した言語のように見えるものを作り出すことに非常に優れている。品詞が文の中で期待される位置に入る、といった具合だ。問題は、言語モデリングと知識モデリングが非常に密接なため、知識モデリングが偶然ついてくる部分を、人々がより深いものだと勘違いしてしまう点にある
しかし慣例的には、50%ソートアルゴリズムの価値は正しく動くソートの50%ではなく、0だ。ソートは通常より大きなシステムの一部であり、そのシステムはソートが100%動作することを必要とするからだ
長い間、「機械学習」手法の中には80%当たれば成功という領域があった。LLMが興味深いのは、ある機械学習の問題では基準を90%に引き上げる一方で、アルゴリズムで100%処理できていた別の仕事の基準を引き下げてしまう点にある
以前、チェスソフトウェアを使える人と使えない人の成績を比較した研究の要旨を読んだことがある。成功を予測する最も強い要因は純粋なチェスの実力ではなく、ソフトウェアを効果的に活用できるかだった
公開研究はよく知らないが、逸話的証拠が多いもう一つの領域はアルゴリズム取引だ。成功している企業では、ほぼ必ず人間がアルゴリズムの動作を監視している。アルゴリズムが妙な動きをしたり条件が合わないときに人間が気づき、パラメータを調整したり、完全におかしくなったようなら停止できる。正直、こうした監督のかなりの部分はKnight Capitalの一件の結果だろう
要点は、LLMは現在、その分野の経験がある人のためのツールだという点には同意するが、それでもかなり大きな前進だということだ。トップクラスのクオンツ・ヘッジファンドが人間の運用するファンドを継続的に上回るように、このツールをうまく活用する賢い人たちは先に行くだろう。鍵は、得意な領域、苦手な領域、そして出力を検証する方法を学ぶことにある
必要なときに知識を探す過程も、コンピュータと会話するより自分で探すほうが速い。本当の専門性には、その検索プロセスを熟達し、簡素化する能力も含まれる
一方で、すでに見たことのないもの、または近い変形ではないものを作り出すのには苦労する
それが本当なら、昨日 ChatGPT 3.5 で18世紀史のきわめて obscure な事実を探すのに、なぜ10秒しかかからなかったのか不思議です。Google 検索では1時間以上かけても失敗しました。
ChatGPT は最初、私の質問が正確でなかったため誤った答えを出しましたが、いくつか明確にすると正しそうな答えを出し、さらに1〜2分の追加調査と検証のあと、その答えが実際に正しいと100%確信しました。
「ChatGPT のような AI システムは、Twitter、Facebook、Reddit のような巨大なデタラメの保管庫と、Wikipedia や専門ライターからスクレイピングしたテキストのような実際の事実を一緒に学習するが、どの部分が真実かを確認するアルゴリズムはない。出力は文字どおりデタラメだ」という主張もおかしいです。
哲学者、数学者、科学者、小説家も、実際の事実と巨大なデタラメの保管庫を一緒に学習します。他人の確立された仕事、学校教育、実験もありますが、科学とは呼べない日常経験、Twitter の会話に似た雑談、プロパガンダ、嘘もあります。だとすれば彼らの出力もデタラメであり、ひいては人類が作ったものすべてもデタラメになります。
質問を調整し、追加調査をすべきだと分からないかもしれません。GPT を自動化システムに使おうとするなら、そのシステムは何が間違いで何が正しいのかをどう見分けられるのでしょうか？
ChatGPT と類似モデルがこうした作業、つまり Google Search の代替役に最も強いという点は、あまり議論の余地がないように思えます。
最終的な評価は、情報を直接掘るほうが安いのか、それとも AI で探索空間を狭めるほうが安いのかです。検証を行う前提なら後者だと思います。
逆に Terry Pratchett の Wyrd Sisters には、こんな言葉が出てきます。「物のように見えようとするものは、しばしば物そのものよりも物らしく見える。よく知られた事実だ。だが私はそれを助長するのは嫌いだ。」
だから LLM は、デタラメだとか確率的オウムだとか言って貶める主張よりははるかに優れており、同時にドメイン専門家ほど良くはありません。
LLM は、私たちに少なくとも2つの思考様式があることを明らかにしたと思います。
ひとつは LLM の動作方式に似ていて、本質的には次トークン予測です。会話に深く没入しているときの精神状態を思い浮かべればよいでしょう。本当に意識的な行為ではなく、ときには自分でも驚かされます。子どもだったり幼稚な状態だったりすると、その瞬間に適当なことを作り話していても気づかないことがあります。
では、本当に難しい問題を解かなければならなかったときのことを考えると違います。非常に意識的な行為であり、注意をあちこちに向けながら、すべてがどう噛み合っているのか、何を変えれば問題が解けるのかを推論します。頭の中で問題をモデル化するとき、言語を使っていない可能性も大きいです。
LLM は最初のほうをやっていて、この初期段階でもそれを非常にうまくこなしています。驚くべきなのは、その方式だけでどこまで行けるのかです。非人間的なレベルの知識をもとに会話モードに入ると、ある程度難しい問題も実際に解けます。
私たちの経験にも合っていると思います。深く知っている分野では、文を組み立てているだけで問題を解いている自分に気づくことがあります。
私たちが構成する知識構造は象徴的です。象徴は抽象、つまりクラスを表し、象徴同士の関係も含みます。人間の創造性は、新しい知覚入力にもとづいて新しい象徴や既存の象徴間の新しい関係を作り出すことにあり、これはアブダクションのプロセスです。こうした知識構造は、堅固な基盤の上に巨大な塔を築けるようにするため強力です。
深く知っているテーマで文だけを作っていて問題を解くこともある、という話は、そのテーマに明晰さがあるため、思考の流れが知識構造と整合しているという意味です。言い換えれば、本当に理解しているということです。しかし私の経験では、自分の能力の範囲内にとどまる人は非常にまれで、ほとんどの人は知識構造を持たないテーマについてもしゃべり続けます。また、自分が何について実際に知識構造を持っているのか、つまり何を知らないのかを知る自己認識もまれです。
LLM は良くも悪くも、返事をするラバーダックです。
よくある解釈は、ほとんどの人が最初の方式だけで考えているというものでした。
こういう解釈はもううんざりです。LLMがオウム返しなのは確かですが、人間の言語をまねるオウムであり、人間の言語は私たちの推論能力をその構造の中にエンコードしているように思えます。だから言語を十分うまく模倣すると、推論能力も模倣し始めるのです
LLMが非常に正確な記憶を持っているわけではない、という事実からは、そろそろ皆が先に進むべきではないかと思います。この問題は完全にではないにせよ大部分、Bingのように尋ねたい情報をプロンプト自体に入れれば解決します。ChatGPTは正確な事実の想起よりも要約のほうがはるかに得意です
そしてほとんどの場合、それは重要ではありません。ChatGPTで何かを学んだり問題を解決したりするとき、それは出発点であって結論ではありません。皆がそれを理解しているなら問題はありません。出力を100%事実として扱う人をまだ見たことがありませんし、AI企業もそう主張してはいません
出力を100%事実として扱う人たちは実際に存在します
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
計算機にナンセンスを入れればナンセンスが出てくるのと同じです。多くの場合、事実を入力する必要があります。RAGのようなものはこれを自動化します
だからChatGPTはRAG方面へ深く拡張しているのだと思います。ユーザーがこのツールに期待する動作の仕方と、よりよく合っているからです
世界が事実で動いていると思っている人には、LLMを理解するのが難しいです。ChatGPTで問題の解決策を見つけるやり方は、人間相手の場合と同じです。対話を通じて見つけるのです
個人的にChatGPTは私のワークフローを一変させました。やりたいことをするコードを出してくれることもありますし、問題を実際に解ける形に枠組み化するのにも役立ちます
今のところyiモデルはかなり良く、2週間以内にさらに良い新モデルが2つ出る予定です。Altmanがどの政治家に最も強く賄賂を渡すべきかを見つけ出すまでは、この流れは続くでしょう
一方でChatGPTはRedditとTwitterで学習されました
筆者はかなりニュアンスを取り落としているように思えます。たまにでたらめを作り出すのは事実ですが、頻繁にそうなるわけではなく、膨大な時間を節約してくれます。もちろん、時には間違った方向へ導いたり、完全に誤った答えを出したりもします
それをどう扱うかはユーザー次第です。与えられた結果を活用しようとしたり、簡単に検証できるツールを用意して生産性を上げたりもできますし、あるいは砂に頭を突っ込んで全部間違っているから気にしない、とすることもできます
どちらも有効なアプローチです
AIが「たまにでたらめ」を作るのではなく、常にでたらめを作っています。たまに出力が正確なのは、初期コーパスが正確だった結果です。しかしAIにとっては扇動家と同じく、それはまったく重要ではなく、もっともらしく聞こえればいいのです
AIが言った内容を検証するのが「簡単」なら、話す前に検証するようAIに教えるのも「簡単」であるはずで、そうなればAIがでたらめ製造機だという批判は自動的に反論されるでしょう。本当の脅威は、AIが検証しにくいでたらめを作ることができ、熟練したGish gallopさえ恥じるほどの速度でそれをやれる点にあります
でたらめ経済、たとえば誰も読まない報告書を書く官僚がいて、その官僚が報告書を書く理由は管理職の人数を水増しして管理職の給与を上げるため、という文脈では、これだけで十分です
ユーザーが出力をレビューし、専門家の判断で有用なものを選ぶ場合や、基本GUIに無邪気にテキストを入れるのではなくAPI呼び出しでツール利用を磨き込む場合とは、別の話です
「言語はでたらめ生成器」だと言ってもいいのではないでしょうか。私たちが出会う言語の大半は、人間が作ったものであれ機械が作ったものであれ、非常に疑わしい、Nietzscheの言う「隠喩、換喩、擬人化の動く軍隊」です
それこそが言語を成功させた要素でもあります。「真」でなければならないという制約から独立しているからです。LLMはその性質を有利に活用しますが、その根源ではありません
以前はこの記事とまったく同じことを考えていましたが、今は本当に分からなくなっています
実行されて動作するコード、つまり要求したことを実際に行うコードは、まったく「でたらめ」ではありません
特定コーパスのカスタムソースへの参照を含む検索、つまりRAGもでたらめではありません
なのでAIは多くの面ででたらめ生成器ではありますが、私たちもそうですし、有用で、でたらめではない形でも使えます
最適化が重要な世界では、動くことと正しいことの間にはかなり大きな隔たりがあります。常にそうではありませんが、厳密に言えばアルゴリズム的な観点だけで見るべきではなく、再利用性やテスト容易性のようなものも最適化すべきで、GPT生成コードはこうした部分を見落とすことがあります
9か月前にこのテーマを扱ったフランスのYouTuberによる良い動画がありました: https://youtu.be/JcFRbecX6bk?feature=shared
フランス語には、より正確だと感じるbaratineurという単語があります。真実や虚偽の概念とは無関係に、聞きたいことを言ってくれる人、という意味です
LLMがもっともらしい出力を生成するように設計されている、という事実を全員が本当に覚えていれば、多くの時間を節約できる。LLMは何も「知ら」ず、「推論」せず、「考え」ず、意見も持たない。単にテキストの接頭辞やシードのようなものを受け取り、人間が実際に作ったものをもとに学習した内容に基づいて出力を生成しているだけである
そう考えれば、すべてはかなり明確になる
答えを信じるべきか？ 当然そうではない。ただ何かを生成しただけである
ブレインストーミングに使えるか？ もちろん可能だ。出力を検討し、採用したり、そこから着想を得たりできる
役に立つコードを生成するのに使えるか？ もちろん可能だ。ただし、そのコードを読み、ツールと人間がレビューして、意図したとおりに動作するか確認しなければならない
従業員を置き換えるべきか？ 当然そうではない。テキスト接尾辞生成器は複雑な問題を処理したり、意思決定に責任を負ったりできない
内部に世界モデルがあるのかもしれないし、ないのかもしれない。誰に分かるだろうか。私たちが知っているのは、「次のトークン予測」は単純な目標だが、今のようにうまく機能するには、ブラックボックスの内部に途方もない複雑さが必要だということだけである