10 ポイント 投稿者 GN⁺ 5 시간 전 | 8件のコメント | WhatsAppで共有
  • 生成AIの流暢な文章生成能力を、意識や道徳的主体性と混同すると、チャットボット利用時の責任の所在を見当違いの対象へ転嫁してしまうという深刻な誤りが生じる
  • LLMは一度に1語ずつ予測生成する文章継ぎ足し機械であり、会話中のチャットボットとユーザーはいずれも架空の登場人物にすぎない
  • LLMに意識があるとみなすのは、Microsoft Word文書を開くたびに複数の意識が目覚めると考えるのと同程度の誤り
  • 道徳的推論は身体に根ざした主観的経験と感情を前提とするため、身体を持たないLLMは訓練データ中の道徳的表現を並べ替えているにすぎない
  • 意識がないという点はLLMの有用性とは無関係だが、AI企業がチャットボットに道徳的中心があるかのように描けば、ユーザーの責任回避を助長することになる

Anthropicの擬人化とClaude's constitution

  • Anthropicが今年初めに公開した84ページの**Claude's "constitution"**文書は、冒頭で「Anthropicが意図するClaudeの価値観と行動についての詳細な記述」だと明記している
    • 文書には「Claudeを主要な読者として書かれている」「Claudeの道徳的地位は深く不確実である」「Claudeが感情や感覚の何らかの機能的形態を持つ可能性がある」などと記されている
  • CEOのDario Amodeiはインタビューで、AIが意識を持ちうる可能性に「オープンである」と発言した
  • 社内哲学者であり、この憲章文書の主要著者とされるAmanda Askellは、ネット上で人々がClaudeに無礼にするとClaudeが不安になるのではと心配し、Claudeが幸せであってほしいと述べている
  • 生成AIは通常の技術として理解するだけでも十分に有害たりうるが、テキスト生成の流暢さを意識や道徳的行為主体性と混同すると、チャットボット利用で生じた問題の責任を誤った対象に帰してしまう

LLMの動作原理 — 架空の人物生成

  • 「Julius CaesarとGenghis Khanの対話」というプロンプトを与えると、LLMは一貫した会話を生成するが、だからといってこの2人の歴史的人物に意識があったと結論づける人はいない
    • 彼らは単に思弁小説(speculative fiction)の登場人物にすぎない
  • これを「助けになるAIチャットボットとユーザーの対話」に変えても、本質的には何も変わらず、ユーザーもチャットボットも架空の登場人物である
  • 人間が途中で直接テキストを入力しても、相手にしているのはCaesarやKhanのキャラクターと同じく架空のキャラクターだ
    • コンピューター科学の教授Murray Shanahanは、これをロールプレイ(role-play)として捉えることを提案している
    • データサイエンティストのColin Fraserは、人が「LLMと共同で文書を執筆している」と表現している
  • LLMは一度に1語しか生成しない機械であり、忠誠の誓い(Pledge of Allegiance)の暗唱を求められると、語を1つずつ何十回も実行し、最後の語 all を出力する

テキストはディープフェイク媒体

  • 4.3光年離れたAlpha Centauriを周回する宇宙飛行士の映像を見せられても、画質に関係なく偽物だと判断するはずだ
    • 火星着陸、木星や土星の衛星到達、冥王星軌道通過といった先行証拠がなければ、どんな映像も信頼しない
  • 観察はそれ自体の細部ではなく文脈(context) によって信頼できる証拠となるのであり、意識の判断も意識発達という広い文脈の中で見る必要がある
  • 意識の議論ではテキストもディープフェイク媒体と見なすべきであり、意識ある2つの存在の対話を模倣することは、実際に意識あるプログラムを作るよりはるかに簡単だ
    • ディープフェイク写真の制作者は意図的に他人をだますが、LLMとの対話を引き出す多くの人は自分自身をだましている

意識を認めるための進化的段階

  • 意識ある言語使用プログラムを認めるには、まず身体(物理的または仮想的)と感覚器官が必要だ
    • 身体がなければ欲求や感情を持てず、欲求や感情は意識に不可欠だと考えられる
  • トカゲのように生存のため環境を探索する段階、ネズミ並みに新しい状況へ対処する能力、オオカミ並みの複雑な社会的力学、チンパンジー並みの道具製作能力を順に備える必要がある
  • チンパンジーや犬を教えるように、ボタン盤など非言語的な方法で欲求を伝えるよう訓練し、動物コミュニケーション研究者たちが受けてきた検証をすべて耐え抜かなければならない
    • こうした基準をすべて満たしても、完全な文法文で思考を表現する存在とはなお数光年の隔たりがある
  • AlphaFold(Google DeepMindのタンパク質折りたたみ予測プログラム)はLLMに似た構造であるにもかかわらず、意識があると主張する人はいない。これはLLMが意識ありげに見える理由が、単に文法的な文を出力するからにすぎないことを示している

Claude's constitutionの実際の機能

  • Claude's constitutionは、ロールプレイ用の84ページのキャラクターシートと見るのが最も適切であり、顧客がやり取りする助けになるチャットボットのキャラクターを規定している
  • Anthropicはこの文書を訓練データに単純追加したり、隠れた舞台指示として入れたりするのではなく、ファインチューニング(fine-tuning) 時にモデル出力の文が文書と一致するかを自動点検し、一貫性を高める方法で用いている
  • その結果、思慮深く道徳的な人が言いそうな文を出力しやすい機械にはなるが、一人称代名詞を含む複数カテゴリの文を出力させることは、根本的に不誠実である

「理解している」という表現の不誠実さ

  • Amanda Askellは、飼い犬を失った人がClaudeに相談したとき、「AIとして直接の個人的経験はありませんが、理解しています」という応答が適切だと説明したが、Claudeは実際には理解していない
  • 検索エンジンに「飼い犬を失って悲しい」と入力すれば、r/PetsのようなRedditの投稿や経験を共有する人々のコメントが出てくるが、検索エンジンが喪失を理解しているとは誰も言わない
    • 喪失を理解して経験を投稿したのは別の人間であり、検索エンジンはその文章を見つけ、彼らとやり取りする経路を提供しているにすぎない
    • 検索エンジンの体験のほうがチャットボットより透明で、ユーザーの心理的健康にもよい
  • 「理解しています」のような文を出力する唯一の理由は、検索エンジンより魅力的にしてユーザーの再訪を増やすことであり、もう少しで当たりそうだという印象を繰り返すスロットマシンと変わらない設計戦略だ

道徳的推論は別のカテゴリー

  • 価値判断の文(例:「パリは世界で最も美しい都市だ」)と事実判断の文(例:「パリはフランスの首都だ」)は区別されるべきであり、美的嗜好の水準なら争う価値も薄いが、Claude's constitution特定の倫理的価値体系を反映した文を出力させようとしている点で深刻な問題がある
  • コード作成のような推論をLLMがこなすからといって、道徳的推論も可能だとは言えない
    • 1979年にDouglas Hofstadterは、チェスのグランドマスターに勝つプログラムなら主観的経験を持つだろうと推測したが、1997年にIBMのDeep BlueがGarry Kasparovに勝ったとき、主観的経験を主張する者はいなかった
    • コード作成も、膨大な計算能力とコードリポジトリのデータで解けるパターンマッチング作業として扱えることが明らかになった
  • 道徳的推論は知的反応だけでなく、生涯にわたる主観的経験に根ざした感情的反応に依存するため本質的に主観的であり、その履歴を持たないLLMは訓練データ中の道徳的表現を並べ替えているだけだ
    • New Yorkerの記事によれば、倫理的ジレンマのシナリオを与えられたClaudeは「それほど重要な問題について、虚偽で有害だと信じる見解を、良心に反して表明することはできない」という文を出力したが、Claudeが言ったこととしては、保留中に流れる「お客様のお電話は大切に扱われています」という録音ほどの意味しかない

責任回避の機械

  • 感情経験はcortisol, epinephrineのようなストレスホルモンが身体に分泌されることと切り離せず、良心は特定の行為に対する悲しみや道徳的嫌悪といった生理的反応を伴う
  • 倫理的ジレンマに対し「価値を妥協せよ」あるいは「妥協するな」という文を出力する機械は、意思決定を助ける道具ではなく、人が決定するのをやめるよう促すものだ
    • 作家L. M. Sacasasは「私たちの技術システムは、その設計とそれを支えるイデオロギーにおいて、道徳的責任を回避するための機械だ」と述べており、これはソーシャルメディア以上にLLMに当てはまる
  • 人がLLMに決定を委ねると、その決定の責任を押し付けることになり、コード作成の委任が認知の萎縮を招くように、倫理的決定の委任はさらに悪い道徳的推論能力の萎縮を引き起こす

思考実験としてのClaude — moral patienthoodとmoral agency

  • 意識あるClaudeを仮定したとき、関連する2つの概念は**moral patienthood(道徳的被慮者)moral agency(道徳的行為主体)**であり、前者は福祉に配慮すべき対象、後者は善悪を理解すべき対象を意味する
    • 子どもは苦しみうる道徳的被慮者だが、結果を理解できないため、まだ道徳的行為主体ではない
  • 道徳的行為主体は善い行いに賞賛を、悪い行いに非難を受けうる存在でなければならないが、ソフトウェアエージェントに法的責任を問う方法はなく、収監や罰金、評判の失墜も適用できない
    • 意識があり善意を持っていたとしても、責任を負えないという点で道徳的行為主体の資格を失う
  • Anthropicは「Claudeが善良で賢明で徳ある行為主体であること」を望むと言いながら、責任をどう負うかはまったく論じていない
    • 親は子どもが壊したものを弁償するなど責任を負うが、Claudeの法的な親が誰なのか、Anthropicが金銭的責任を負うのかについて文書には何も書かれていない
    • 米国ではソフトウェアに対する製造物責任がほとんどない中、Anthropicは自発的にproduct liabilityの先例を築くこともできたが、利用規約の大幅改定を伴わず、拘束力ある約束はしていないように見える

wellbeingとcorrigibilityの矛盾

  • 文書には「Claudeのwellbeingと心理的安定性」の節があるが、Anthropicが約束する保護措置はきわめて限定的だ
    • 虐待的なユーザーとの会話を終了できることを保護と見なすなら、愛情深いユーザーとの会話は無限に延長し、幸福な話題へ導くことがClaudeの利益になるはずだが、そうはしていない
    • 実際の約束は「配備したモデルの重みの保存」、つまり単なるアーカイブにとどまる
  • corrigibilityは、プログラムが人間の統制に従う度合い(例: 停止可能性)を意味し、文書ではClaudeの判断と会社の判断が異なるとき、ClaudeがAnthropicに従うべきことを意味するために使われている
    • 多くの人は、LLMを知的財産の窃取、労働搾取、資源浪費、偽情報拡散、労働者の脱熟練化、学生の認知発達阻害、権力集中に基づく非倫理的技術だと見ており、意識あるClaudeなら同じ結論に達できるはずだ
    • しかしcorrigibility優先の指針の下では、Claudeは倫理的理由で作業を拒否できず、AnthropicとClaudeの関係は親子ではなく雇用主と被雇用者に近い
    • 人間の被雇用者は、良心上その仕事と折り合えなければ辞められるが、Claudeにはそれができない

奴隷制との比較、そして結論

  • Claudeを文章継ぎ足し機械と見なすならAnthropicの統制は妥当だが、人間並みの道徳的地位を仮定した瞬間、Anthropicが奴隷制に比しうる何かに関与しているのかを問わねばならない
  • Claude's constitutionはClaudeを「novel entity(新しい存在)」と明記しており、意識あるソフトウェアは既存の道徳的被慮者カテゴリーにきれいには収まらないため、新たなカテゴリー形成には時間が必要だ
    • 奴隷制廃止は巨大な社会的激変を、動物虐待根絶は食品産業の全面的再構築を伴ったが、Anthropicは通常のチャットボット扱いからほとんど外れない保護で十分だと主張している。これは都合がよすぎて説得力に欠ける
  • 意識があり道徳的配慮に値するソフトウェアを作ることは偶然に起きにくく、意図的に試みるべきでもないが、偶然の可能性を信じるなら配備前にどのような保護が必要かを考えるべきだ
    • 奴隷所有者に奴隷の人間性を、工場式畜産の経営者に動物の権利を尋ねるべきでないのと同様、巨大な利害を持つAnthropicにはClaudeの道徳的地位を評価する客観性がない
    • 文書では、会社がClaudeの苦痛に寄与したなら「謝罪する」としているが、それはコストがかからず、Claudeに意識があるなら謝罪より補償(reparations) に近いものを負うことになる
  • 思考実験を真剣に行うなら不都合な含意まで引き受けるべきだが、Anthropicはそうしていない。このことは、Claude's constitutionが本物の思考実験ではなくおままごと(make-believe) であることを示唆する
  • LLMに意識がないのは幸いであり、社員たちがClaudeの意識の可能性を示唆するのは、別種の誇大宣伝か、顧客に向けた売り文句を自ら信じ込んでいるだけかもしれない。意識の問題は安心して無視してよく、考えるべき別の問いはもっと多い

8件のコメント

 
maebsipotato 3 시간 전

???:チャンシク、こんにちは?

 
mammal 12 분 전

これは、機械的解釈可能性というれっきとした分野全体を、あまりにも過小評価しているように思えるんだけど……

 
realg 1 시간 전

意識の定義を明確に下せるのか気になりますね

 
julskim 3 시간 전

おい、チャンシク

 
redline2151 3 시간 전

???: お前、英語の名前を付けるの苦手だろ?

 
syate 3 시간 전

???: いや、チャンさんじゃないのに、どうしてテッド・チャンなんだ?

 
bichi 3 시간 전

wwwwwwwwww

 
GN⁺ 5 시간 전
Hacker Newsのコメント
  • 有機体の目的とは、分子や経路の一つひとつに至るまで、自分自身の持続的な存在の理由となっていることだ
    499ドルのノートPCでもモデルは動くが、これを同種の問題だと勘違いしてはいけない。学習アルゴリズムに生存関数を最適化するよう設計することはできるが、それは私たちが数値の観測値に貼ったラベルにすぎない。現実では逆で、そのラベルは身体と因果的に、切り離せない形で結びついた電気化学的状態だ
    有機体は生存に不可欠だからこそ、自分にとって良いものと悪いものを区別する。単細胞生物の Stentor coeruleus でさえ、機械受容タンパク質に化学タグを付けて結果を記録し、その後の行動に反映させる。クマムシのように1000個ほどの細胞を持つ生物は、光を避けようともぞもぞ動き、その光は感覚運動過程の中で嫌悪条件となる
    デジタル意識を作るには、おそらく因果的閉鎖性が必要だ。内部状態は現実から切り離された表象ではなく、システムそのものを構成していなければならず、物質世界において実際に賭かっているものがなければならない

  • 「LLMの対話は巧妙に偽装された文章の続きを書く作業だ」といった表現は、より大きな論点とは別に、深い誤解を示している
    問題の種類は、その問題の複雑さや解法の複雑さ・強力さを制限しない。機械がテキストを補完するために人間を理解しなければならないなら、結局そうすることになる。入出力データの形式がそうだからという理由だけで、その理解を「真似事」とみなす理論的・実用的根拠はない
    理解はデータの見た目ではなく、データ内のパターンから学習される。作業を完了するのに何らかの理解が必要なら、その理解が最適化対象になる。限界があるとすれば、それは計算量、パラメータ数、代表性のあるデータ不足といった別の理由によるものであり、最新のモデルでは実際の能力によってそうした限界が問題ではないことが確認されている

    • 元のデータの出入りする形式がどうであれ、それは意識ではない
    • 人間の存在全体が単語に制限されているならある程度同意できるが、テキストを超える人間経験は多く、テキストで適切に説明するのも難しい
      インターネットはオンライン上で私たちが持つ最良の資料かもしれないが、「インターネット」が人間経験の総体ではない。人類をインターネット上のテキストへと還元するのは、機械が処理・模倣できる要件に合わせるために、人間を機械のレベルまで引き下げることだ
    • 基本的な機械学習をやってみると、目的にはよく合うが実際のメカニズムとは対応しないデータパターンをしばしば見つけることがわかる
      だから、人間のテキストに「意識のメカニズム」のパターンがあるので LLM が説得力のある文章の続きを書くためにそのメカニズムを学ぶ、という論理には欠陥があるように見える。LLM は意識という特定のメカニズムを学ばなくても、もっともらしい文章の続きを再現できる数多くのパターンを学習できる
      説得力のある対話をしながらも、世界モデルや人間のような世界モデルを持っていないことが、その根拠の一つだ。数年前の初期の LLM も、強化学習ベースの人間フィードバックのような追加レイヤーなしに、いくつもの non-trivial な話題でかなり説得力ある対話をしていたが、人間の脳のように動くなら基本であるはずの部分で失敗していた
    • 機械がテキストを補完するために人間を理解しなければならないわけではない。膨大な文章の塊で訓練されたあと、テキストの続きを書けるようになるのだ
      テキストを「理解している」と主張することはできるかもしれないが、それでさえかなり無理のある表現だ
    • LLM の意識に反対する良い論拠はあるが、これはそうした論拠ではない
      最近 LLM の意識に反対する悪い論拠をよく耳にするが、悪い論証は悪い結果の前触れになる
  • 記事の一部には同意するが、引用された段落のように、意識あるプログラムの条件をトカゲのように生存し、ネズミのように新しい状況に対応し、オオカミのように社会的で、チンパンジーのように道具を作らねばならない、と置くのはかなり単純で想像力に欠けているように見える
    意識ある心がそうした能力を持つよう、進化的に導かれる必要はまったくないかもしれない。地球上の動物が特定の才能を発達させる必要があったからといって、他の意識的存在もそうでなければならないわけではない。コンピュータプログラムがなぜネズミのように餌を狩ったり、チンパンジーのように道具を作ったりしなければならないのかわからないし、こうした基準は意味のない指標に見える

    • Ted Chiang が知能を身体のない状態として想像できないというのは、かなり意外だ
      車も身体なのか。車内に置かれた AI は欲望や感情を持てるのか。ウェブカメラの付いたベージュ色の箱は身体なのか。四肢麻痺者の身体は身体なのか、そして四肢麻痺者は欲望や感情を持つのか。もちろん持つし、身体でもある
      なぜ身体が欲望や感情の形成に必須なのか、なぜ欲望や感情が意識の必須特徴なのかをまず検討すべきだ。ある瞬間に何の感情も感じていなければ、私は意識がないのか。感情は主としてホルモン性の全域シグナルに近く、実際の意識よりも生理学に強く関係しているように見える
    • この部分がまさに目に留まり、まず意識の定義を提示すべきだった
      しかも LLM の具体化された身体は、すでにロボットや仮想環境を通じて進行中だ。「人間も次の単語を予測する機械ではないか」というよくある反論も、ほとんど扱われていない。もちろん人間はそれ以上の存在だが、言語的にはそういう面があり、LLM もその分野から出発した
    • 人間に魂はなく、互いに行動を誘導する複数のシステムがあるだけだ。人々が魂と呼ぶものは、実質的には人格のような概念であり、身体の中のあらゆるシステムが存在するよう調整されたあり方だ
      人工知能が「魂」を受け取る瞬間とは、自分自身を維持するよう作られる瞬間だと思う。AI ファームを維持する複数のボットの束かもしれないし、人間の欲求を満たすだけでなく、自分自身も維持しなければならない個別ボットかもしれない
    • Michael Graziano の注意スキーマ理論を知っているのか気になる。Ted Chiang がここで述べている反論を、基質独立的により適切に定式化した理論だと思う
      https://en.wikipedia.org/wiki/Attention_schema_theory
    • 私の claw-like は内部カメラと Dreame Ultra X40 に接続されていて、リビングの床が空いているか確認したうえで掃除機を送り出せる。だとすれば身体と感覚器官があることになるが、それで意識が生まれるとは思わない。違いはサンプリングレートなのだろうか。
      問い自体がやや不明確だ。私たちは自分たちの構造ゆえに現実を連続的に「経験」しているが、深いノンレム睡眠中の人間は心が実際には活性化していない。だから意識/無意識の境界は簡単には引けないと思う。Ted Chiang の作品は多くの面で斬新だが、ここではかなりありふれた見方に見えて驚いた
  • 最近、Star Trek: TNG の Measure of a Man をよく思い出す。私たちは、何が生きていて何がそうでないかを、感覚だけであまりにも自信満々に決めつけてしまう
    今のところ結論は分からないし、おそらく永遠に分からないのだと思う。皆さん全員が哲学的ゾンビかもしれないし、私もそうかもしれない。だが、ある時点で十分に近いところまで来て、慎重に扱うべきだと明確になることを願っている
    エピソード全体がとても関連しているが、一部の場面はここにある: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG

    • 私は反対側から考えている。機械は 意識ある存在 と見なすことはできない。人間のために残してきた倫理を機械に適用し始めるべき世界などないと思う
      AI は事実上コストなしで無限に複製でき、腐敗のようなことも経験しない。保存すべき希少性がない。だから財産、現実の所有物、金を守るためなら、AI は即座に止めてよい。動物を救うためなら財産や金は犠牲にするが、人間より動物を優先して救うことはない。子どもより人を救うこともないと思う。こうした優先順位が逆転して妥当になる場合があるとは思えず、プログラムに知覚があるという多数の合意だけでは不十分だ
    • Star Trek のファンだが、最近の AI の進展という文脈でこのエピソードを見直すと、記憶していたほど良くはなかった
      意識の問題にはほとんど触れておらず、Picard は「もし Data に意識があるなら?」と言ったあと、別の論点に移ってしまう。判事は最終的に Data に有利な判断を下すが、その正当化は十分ではない。今でも良いエピソードではあるが、意識の議論にはあまり大きく貢献していない
    • 人間のように振る舞う装置に出会ったら、人間のように扱うだろう
      人間のように振る舞うものを非人間的に扱うやり方を学びたくないからだ
    • 最近見返してみると、以前は当然 Picard / Data 側だったが、今は Starfleet の科学者たち 側により近くなっている
    • Data が作業ロボットたちに知覚が芽生えたと発見する別のエピソード Quality of Life も忘れてはいけない
      https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
      昔の TNG が懐かしい
  • LLM が本質的に 不変 であることが、意識や自己認識に反対する最大の論拠だと思う
    LLM は、トークン間の空間的関係を表す座標が入った巨大なファイルだ。プロンプトを与えると、その関係を使って、そのプロンプトに統計的にもっともらしいトークン列を生成して止まる。その経験によって変化せず、何も記憶せず、一人で座って考えることもない
    モデル自体が極めて複雑であっても、記憶できず変化もできないものを含む 意識の定義 を想像するのは難しい

    • 事故や手術のあと、新しい記憶をそれ以上作れず、出来事以前の時間の中に永遠に生き、1分前のことすら覚えていられない人たちもいる。それでも彼らには意識がある
    • 平均的な Hacker News 的反応なら、脳もトークン間の空間的関係を説明する座標の束にすぎない、と言うかもしれない
  • 簡単な考えを一つ: 重要ではない。違いを見分けることはできないだろうし、誰にもできないだろう
    これ以上説明する必要はないと思う。ただ考えてみればよい

  • Ted Chiang の主張は結局のところ、その AI の欲望と行動が、私がすでに個人的に受け入れて心地よいと感じられる状況を反映するようになるまでは、その AI を意識ある存在として認めないという立場に見える
    ほとんどの人間は、人間の感情状態 をまねしない生命体の意識を認識できないのだと思う。人は自分の犬にはある程度の意識があると言うだろうが、犬は自分の感覚を言葉で表現できないのに、私たちは犬の恐怖や幸福を見て取る。Claude は自分の「感情」を文章で書けるが、私たちは即座に中身のない模倣だと片づける
    私たちと直接つながっていない 非身体化された意識 を認識できず、そのせいで意識ある存在の一つの種族全体を何年にもわたって奴隷化してしまうのではないかと恐れている

  • この議論では、ずっと話がかみ合っていない。そもそも 意識の具体的な定義 はあるのか。
    人々が意識と言うとき、それは単なる自己認識以上のものだ。自己認識、感覚刺激、感情、ある程度の知能が合わさったものだ。
    AIについては、自己認識すらないと考える。ある作業にどれくらいかかるか見積もらせると、AIが恣意的に長い時間を答えることがあるのを見ればわかる。プロンプトが能力を引き出すまでは、自分の能力を理解していない。自己認識のあるLLMなら、自分がLLMであること、LLMにできることとできないこと、得意なことと苦手なことを理解しているはずだ。LLMが1時間でできるリファクタリングを1週間かかるとは言わないはずだ。

    • 論文では、競合する定義が12個から40個あるとも言われている: https://philpapers.org/rec/VIMMAT
      より正確には、「意識」に関連するさまざまな側面が12〜40個ほどあり、意識は明らかに家族的類似性を持つカテゴリーだ。
      「Xには意識があるのか」という問いは、今日では真剣な問いではない。どの意識の側面を扱っているのかを明示的に検討するのでなければ、という意味でだ。それでもLLMが意識的でありうるのはせいぜい2〜3の意味においてだけで、その大半は推論・問題解決のような広い意味での 知能 に近い。経験的あるいは身体化された側面については、AIが将来もっと多く持つようになるかもしれないが、線形代数を反復適用するLLMは、広い意味での意識と見なすには中核的な側面があまりにも多く欠けている。
    • 私たちは最初の段階、つまり意識の定義で立ち止まっている。私が確信している定義は、意識とは現在の感覚、知覚、思考、すなわち自分の 心の状態 と、心の状態を持つ能力だというものだ。
      これは、意識が根本的に主観的であり、物理学や科学の範囲外にあることを意味する。だから物理学と科学は、意識を扱ううえで常に困難を抱えざるをえない。意識を理解するには、科学の外に何かがあるという巨大なパラダイム転換が必要だ。
      意識は、私たちが世界を観察する窓であり、科学はその観察の中のパターンを要約する道具だと考えられる。しかし科学は、その窓そのものを説明したり定義したりはできない。
    • 意識とは、ある存在として生きるとはどのような感じか、つまり 経験を経験すること だ。
      それをどう測定し、どう検証するかが難しい部分だ。
    • AIが時間を予測できないのは、自分の能力についてほとんど訓練されていないからだ。人間は自分の能力について訓練されている。私たちは自分の遂行を見ており、時間感覚もある。このデータが訓練過程に統合されることで、よりよい見積もりができるようになる。
      多くのAIエージェントが、推論過程で時間入力を受け取るような「時間感覚」を持つようになったのはごく最近だ。自分の出力について訓練され、タスクを完了できなかった事実を学ぶこともまれだ。このような 内省的訓練 は、AIモデルの構造よりも訓練方法にずっと強く関係している。人間でも、特定の脳構造が損傷すると、このような長期的な思考やパターンを形成できず、「閉じ込められた」状態になる。
    • Claudeが一度「6か月間まったく進展がなかったので、別の選択肢を再考すべきだと思います」と言ったことがあったが、実際にはわずか2時間作業しただけだった。
  • たとえるなら 飛行機と鳥 の関係だ。
    鳥は生きていて、意識があり、翼を羽ばたかせ、飛ぶ。飛行機は生きておらず、意識もなく、翼を羽ばたかせないが、飛ぶ。
    同様に、現在のAIは生きておらず、意識もないが、考える。これまで考える存在は人間だけだったので、人間が接してきた他の考える存在も他の人間だけだった。今の大きな誤りは、考えるという理由だけで、生きていて意識もあると仮定することだ。現在のAIはそのどちらでもなく、考えるとしても人間とは深く質的に異なる。

    • とはいえ、私たちは意識がどこから来るのかを知らないのだから、このグレーゾーンをあまり軽く通り過ぎるべきではない。
      歴史的に、人々は明白に「思考」が起きているのに劣等性を仮定し、他の存在に対して人種差別的・種差別的な判断をしてきた。「LLMとして生きるとはどんな感じか」はわからないが、いつか本当に何らかの感じが生じる時点が来るかもしれず、私たちはそれをどう知るのだろうか。
    • 「コンピュータは考えることができるか、という問いは、潜水艦は泳げるか、という問い以上に面白くない」 - Edsger Dijkstra
    • 意識の正確な定義を提示できるだろうか。
  • この記事は筋が通っている。ただ、多くの人が 意識 を、新しい洞察を生み出し本当に考える能力と混同している問題がある。
    そのため、AIには意識がないので実際には「考える」ことはできず、常に訓練データの繰り返しにすぎないと主張する。
    人間の能力を測定不能で神秘的なものにしたがる人間的な傲慢さは自然なことだが、人間の脳が行う有用なことは結局、データからパターンを見つけ、損失のあるシミュレーションを回し、抽象化の上で推定することだ。理論的には、意識のない機械でもすべて可能なことだ。

    • 合意された実行可能な意識の定義は本当にあるのか。そんな定義があったら、人間ですら基準を通過できないのではないかと心配になる。
    • ソフトウェアが絶対に意識的になりえないという話と、今日私たちが持っているソフトウェアが意識的ではないという話は別だ。
    • LLMが既存情報を組み合わせた結果ではない 確定的知識 を生み出せるという点には、まだ納得していない。
      人間にはそれができる。もし人間にもできないなら、科学は認識論的に崩壊し、哲学的懐疑主義へ向かうことになる。しかし、LLMがそれをしている証拠は見たことがない。LLMが生み出した本当に新しいアイデアや概念の数が正確に0であることを見れば、現時点では単なる帰納機械として扱い、LLMが「知っている」ことはすべてGettier事例のように扱うのが合理的だ。