- 匿名のインターネット研究者・作家 Gwern Branwen は、2020年前後に多くのAI論者が見落としていた LLMスケーリング の流れを早くから受け入れた人物として紹介される
- 匿名性は報復回避にとどまらず、読者が書き手を特定のアイデンティティや niche に押し込めて即座に無視できないようにし、まず読まれる機会を生むと考えている
- 企業の自動化はCEOから降りてくるよりも、下位業務から上へと上がっていく bottom-up圧力 が強く、人間の役員がAI組織の長期的な選択を担う構造のほうが現実的だと見る
- Gwernは知能を Turing machineの探索 と捉え、GPT-1・GPT-2・GPT-3、2017年のBaidu scaling laws paper、AlphaZero、BigGANを通じて compute・data・trial and error の力を強調する
- AGIが数年以内に来るという前提では、すべてのプロジェクトを自分で終えることよりも、選好・欲求・評価・判断 のようにAIが代わりに決められないものを記録し、未来の実行の材料として残すことが重要になる
匿名性、アバター、自動化された組織
- インタビューは対面で収録されたが、Gwernの匿名性を守るために アバター が使われた
- 映像内の顔と声は実物ではなく、発言だけがGwern本人のものである
- 匿名性の過小評価されている利点は、読者が書き手を特定のアイデンティティや niche に分類して先入観で無視しにくくなる点にある
- 報復を避ける効果もあるが、Gwernは文脈ゆえに即座に排除されず、少なくとも読まれる機会 を得られる点をより重視している
- 自宅にヘロインを送られたり、SWAT通報を受けたりする事態を避けられたことも利点だと見る
- 企業の自動化は、CEOから置き換わる top-down 方式よりも、労働者・下位業務から上がってくる bottom-up圧力 のほうが強いと見る
- 既存組織では、下の職務を代替し、徐々に上へ上がっていくほうが受け入れられやすい
- 最終的には、人間の役員がAIで構成された会社を監督する形を想定している
- 強化学習の観点では、人間がAIより優れうる部分は 長期ビジョン と新しい長期戦略、機会の捕捉かもしれない
- 人間のCEOがビジョンを示し、AI組織が提案と実行を担当し、その中から人間のCEOが選ぶ構造が可能だという
- こうした人間主導の企業は、完全にAIだけで構成された企業よりも長期的により良い選択をできると見る
- Gwernは、自分の仕事で最後まで残る人間の役割も Steve Jobs的な選択 に近いと見ている
- AI minion たちがエッセイを持ってきたら、自分はどの文章がより良いかを選び、どの方向にさらに押し進めるかを判断する役割を想像している
AI組織と選択単位
- AIで構成された会社では、選択単位は個別モデルより大きい「心のパッケージ」や部門単位になりうる
- 個別モデルを完全に複製できるなら、選択単位はさらに上位へ移る
- 個別の mind は微分可能な形で訓練できても、mind 同士の相互作用は直接訓練しにくい
- 特定の相互作用要素に還元できなくても、全体としてうまく噛み合うモデル群がありうる
- 例としては、programmer、manager type、secretary type、financial type、legal type などを含む department unit がある
- 新しい unit が必要になったとき、基本パッケージをコピーし、各構成要素にランダム変異を与えた後、性能の良いパッケージを残す形の進化が可能だという
Singularityの系譜と知能理論
- Singularityをいつから予見できたのかについて、Gwernは少なくともSamuel Butlerの1872年の Erewhon、あるいは1863年のエッセイ「Darwin among the Machines」までさかのぼるべきだと見る
- Butlerは1863年に、機械の生命が次第に発達して自律性を獲得し、最終的に人類への脅威になるというビジョンを明示的に書いていた
- Butlerは機械について「war to the death should be instantly proclaimed against them」と結論づけた
- Gwernは、1863年以前のさらに明確なSingularityシナリオについては確信が持てないと述べる
- Isaac Newtonは、自分の時代の発明と進歩を実際の技術加速ではなく、文明が数千年ごとに破壊され、過去の知識を再発見する現象として説明したという
- Dwarkeshはこれを、空間上の異星文明に対するFermi paradoxではなく、時間上で異なる文明同士に対するFermi paradoxのように見る
- Gwernは、Lucretiusも約1,700年前にローマの革新と学問を見て、似た論理を書いていたと述べる
- Gwernの知能理論は「Turing machineに対する探索」である
- 起こるあらゆることは、さまざまな長さの Turing machine で記述できる
- 学習やスケーリングは、より多く、より長い Turing machine を探索し、特定の事例に適用する過程である
- 一般的な master algorithm や特別な intelligence fluid があるのではなく、膨大な数の特殊事例を学習して脳に encode しているのだと見る
- 人間の知能差も、より多くの compute で、より多くの Turing machine を、より長く探索する違いだと見る
- 脳に fluid intelligence を担う「IQ gland」のような部位はないはずだと述べる
- 脳は個別の特殊問題を多数学習し、その後それらが再結合されて fluid intelligence のように見えるのだと見る
- 大きな neural network model は、多くの小さな問題に合わせた small model たちの巨大な ensemble のように見なせる
- 人間レベルの一般知能が進化するのに長い時間がかかった理由は、多くの生物にとって、特定の問題に合わせた機構のほうが general-purpose intelligence より適応的でありうるからだ
- 小さな Turing machine は、十分な進化があれば遺伝子がより直接的に encode できる
- 静的な niche、知能が非常に高コストな niche、寿命が短く学習時間が足りない生物では、人間型の学習より特定問題向けメカニズムのほうが優れている場合がある
スケーリングを早期に受け入れた過程
- Gwernのスケーリング観は、2000年代半ばに Moravec と Ray Kurzweil を読んだことから始まった
- 2人は、十分な compute があれば、人間の脳に適した neural network architecture の発見につながりうるという connectionist の議論を展開していたという
- Gwernは当時これを「magical thinking」のように見ており、アルゴリズムは複雑で、深い洞察や難しい数学が必要だと考えていたため懐疑的だった
- LessWrong、transhumanism、AI risk に関心を持ち、Shane Legg の文章を追っていた中で、Leggの予測に触れた
- Gwernによれば、Leggは Moore’s Law が続けば、2019年ごろに最初の generalist system、2025年ごろに generalist capabilities を持つ humanish agents、2030年ごろに AGI を予測していた
- DanNet と AlexNet 以後、Gwernは connectionism の印象的な成功事例を確認した
- これが孤立した成功なのか、それとも GPU が登場すればより良いアルゴリズムが現れるという Kurzweil・Moravec・Legg の流れなのかに注目し始めた
- deep learning 文献を読み続ける中で、dataset size、model size、GPU 使用量が増え、neural network の適用範囲が狭い use case から徐々に広がっていくのを見た
- arXiv で CNN が日々別の問題に適用される流れを見て、「知能とは大量の compute、data、parameters を適用したものなのかもしれない」という考えへと移っていった
- GPT 系列は、判断を変えた重要な契機だった
- GPT-1 の unsupervised sentiment neuron は、自ら学習するという点で驚きだった
- GPT-2 の prompting と summarization は、自分たちがスケーリングの世界に生きているという感覚を強く与えた
- GPT-3 は GPT-2 の大規模な scale-up であり、Go のような狭い task ではなく、スケーリングの妥当性を測る重要な test だと見なした
- GPT-3 paper 冒頭の few-shot learning chart を見て、「we are living in the scaling world」と判断した
- 2020年ごろ、多くのAI論者が LLM、GPT-3、scaling laws を見落とした理由は2つあると見ている
- 以前のスケーリング結果を十分に追っておらず、retrospective に重要な結果を評価できていなかった
- アルゴリズムが compute より重要だという信念を共有していた
- Gwernは、compute は trial and error と serendipity を可能にするため、先に来るものだと考えている
- 小さな hyperparameter の違いや architecture の選択が結果を大きく変えうるが、数回しか試せないと、動かないと判断して諦めやすい
- compute が多ければ試行を続ける中でうまく動く解法を見つけ、その後に単純化・改善・原因把握を通じて robust solution にできる
- 古い deep learning 文献には、現代的なアイデアがすでにあったものの、compute が不足していたため実際には使いにくかった例があると見ている
- ResNet は1988年に発表され、実際に動作していたが、規模が小さすぎて実用的な価値がなく忘れられ、2015年になってようやく deep learning の革命として登場したと説明している
- BigGAN が 300 million images まで scaling した事例も、人々が十分に見ていなかった結果だと見ている
AGI時代のプロジェクトと執筆
- Gwernの AGI timeline は、2005〜2010年ごろには2050年以降のように非常に遠いものだった
- AlexNet と DanNet 以後は、timeline が毎年2年ずつ前倒しになる速度で縮まっていったと表現している
- deep learning は壁を次々と越え、代替 paradigm はうまくいかなかった一方で、この paradigm は非常にうまくいったと見ている
- AlphaGo 以後、一部の人々は AI hype に過剰反応したと見ている
- Dota 以後の大規模な reinforcement learning の試みが、simulated game universe の外にある難しい問題ではうまく機能しなかったため、Gwern自身も自分が先走りすぎたと思った
- GPT の登場後、その判断は取り消され、RL は generative model という cake の上の cherry になるだろうと見ている
- AGI が数年以内に来ると本気で受け止めるなら、あらゆるプロジェクトを自分で実装する必要はない
- やりたいことや楽しいことは、たとえAIが3年後にできるようになるとしても今やる
- ある種のプロジェクトは、何を望み、なぜ良く、どうやるかを明確に sketch しておき、より優れた AGI に実行させることができる
- Gwernは今後さらに記録していきたいものとして preferences, desires, evaluations, judgments を挙げている
- AIは「あなたの代わりにアイスクリームを食べることはできず」、どのアイスクリームを好むかを代わりに決めることもできない
- 作業の判断基準は3つある
- 未来のAIと無関係に楽しめるからやることか
- 人間がやるべき部分だけを行い、AGI が後でできることか
- 今日記録されないものを書き残し、未来のAI版の自分を助けることか
- この3つに属さないことは、基本的にやらないようにしている
- Gwern-quality の essay を AI が書ける時点については、corpus 全体を結び合わせれば AGI なしでも可能にできるアイデアがあると語っている
- 多くの潜在的な essay idea はすでに corpus の中でほぼ完成しており、引き出すのに super intelligence は必要ないかもしれない
- 一般的な AGI 計画の基準では、Anthropic timeline の 2028年 が良い出発点に見えると述べている
- 執筆は未来の Shoggoth に影響を与える行為だと見ている
- LLM が予測すべきトークンは、AI が認識する数少ない currency であり、執筆は未来への投票に近い
- オンラインテキストに表現されていない価値・嗜好・欲求は、AI にとって事実上存在しない
- 「If it wasn’t written down, it wasn’t written down」という言い方の通り、記録されていない自伝的情報や特定時点の感情は、後から痕跡として復元するのが難しい
Rabbit holes、聴覚障害、Wikipedia
- Gwernは、人生で最大化しようとしているものをrabbit holesと呼んでいる
- これまでまったく知らなかった新しい考えや分野に深くのめり込むことを、最も楽しみにしているという
- マタタビに反応しない猫の事例から、なぜ一部の猫はマタタビに耐性があるのか、さらには代替のcatnip薬物まで調べることになったと語っている
- 同時に深く探究できるrabbit holeは、最大でも2〜3個だと見ている
- それ以上になると、実際に労力をかけて掘り下げるというより、通り過ぎる関心に近い
- rabbit holeは強迫的であるべきで、引かれ続けないなら本当のrabbit holeではない
- 最も長くはまり込んだものの、満足のいく形では続かなかったrabbit holeとして、Neon Genesis Evangelionに関する初期の作業を挙げている
- 英語で書かれたほぼすべての資料を読み、制作過程や作品があのような形になった理由を理解しようとしたが、当時は明確な答えを得られないまま消耗した
- 数年後に偶然理解できたが、書き直したり完成させたりするほどの関心はもう残っていないと語る
- Gwernは生まれつき聴覚障害があり、幼稚園前には聴覚障害児やほかの障害児のための特別支援学校に通っていた
- 学校では、教師につながった補聴器と大きな茶色の箱を毎時間持ち歩かなければならず、自分がほかの子どもたちと区別されている感覚のせいで屈辱を感じていた
- 当時の補聴器の性能はよくなく、会話を理解するのにいつも一拍遅れ、それが社会化に大きな悪影響を与えた
- 読書は聴覚障害の影響を受けずにできる活動だったため、自分をbookwormにした一因だったと考えている
- ブログを始める前はWikipediaを編集していた
- Wikipediaはgwern.net以前のgwern.netのような役割を果たしており、いま自分のサイトでやっていることを当時はEnglish Wikipediaでやっていただろうと語る
- Fujiwara no Teikaの記事を今でも誇りに思っている
- 文章について学んだことの多くは、学校や大学よりもWikipedia編集から得たものだと語っている
- 現在のEnglish Wikipediaでは、昔のようなrabbit holeベースの訓練をするのは難しいと見ている
- 2004年より記事ははるかに埋まり、編集コミュニティも詳細で強迫的な調査型の貢献により敵対的になっているという
- そうした貢献は削除されたり、original researchや未承認の情報源の問題として却下されたりする可能性がある
- 最初の大きな成功はSilk Roadの記事だった
- Adrian ChenがGawkerにSilk RoadでLSDを買う記事を書いたとき、Bitcoinはインターネット上で実際にドラッグを買えるほど現実的なのだと見て、態度を変えた
- GwernはSilk Roadを実際に使い、注文の過程をスクリーンショット付きで記録した
- 記事は公開後に数十万ビューを記録し、Google Analyticsのチャートでは垂直スパイクに見えるほどだったと語っている
作業スタイル、執筆動機、サイトデザイン
- Gwernは、人は自分の知能を過大評価しがちだと見ている
- 多くを記憶し、長年にわたって大量に書いてきたため、即興ですべてをこなす人のように見えるのだという
- 実際の会話では、すでに書いたことや長く考えてきた内容を引用することが多い
- 即興で素早く更新する人たちと比べると、自分は特別に賢いわけではないが、結局重要なのはアウトプットだと考えている
- 作業プロセスは、天才的な一発というより、長い時間をかけた小さなメモの蓄積に近い
- 「変だ」「これはこのパターンの別の事例だ」といったメモが10年にわたって積み重なると、成果物は魔法のように見えることがある
- Penn & Tellerの「マジックとは、合理的な人が予想するよりも多くの努力を注ぐことだ」という言葉が好きだと語っている
- 「Evolution as Backstop for RL」のようなエッセイは、同じパターンを何度も見た結果として生まれた総合である
- ばかげていて非効率な学習方式によって、より賢いものを学ぶが、元の方式を完全には取り除けない構造が中心にある
- 企業、meta reinforcement learning、neural networks、painのような例が結びつき、現在の構成になった
- ある種のエッセイはユーレカの瞬間から生まれるが、その前には互いに結びついていると分からない複数のメモが長く残っている
- ある日突然、すべてがつながっていると気づく瞬間が来ると、巨大なエッセイを一気に書き進める
- 「The Melancholy of Subculture Society」は、こうしたユーレカ型エッセイの例である
- 1日の作業の流れは、前日のウェブサイト作業を整理することから始まる
- formatting、spelling errors、配置の問題を処理し、追加の考えや重要なコメントを入れる
- その後はTwitterやRSS feedを通じて多くを読み、コメントや質問に注意を引かれると文章を書く
- 夜には実際のプロジェクトや貢献作業をしようとし、その後gymに行く
- Gymに行く理由は、コンピューターの前に座って読むこととは正反対の活動だからである
- weightlifting自体が特別に好きというわけではなく、burnoutを避けるには、できるだけ違うことをする必要があると考えている
- オンライン上の論争は、Gwernにとって強い執筆動機である
- 文章を書いて考えを結晶化し、「収穫」するには動機が必要だ
- オンラインで人々が間違っていることから生じる怒りと論争の動機は豊富にある
- ただしspiteは必要なあいだだけ使い、その後は手放すべきで、握り続けると自分を毒することになると見ている
- ウェブサイトのCSSやデザインに多くの時間を使うことは、社会的効用の観点から完全には正当化できないと語っている
- 自分が好きだからやっている趣味であり、美しいウェブサイトは自分の文章を繰り返し読む作業を耐えやすくしてくれる
- サイトの保守は、著者にとって一種のspaced repetitionになりうると見ている
生計、Patreon、年12,000ドル未満の生活
- フルタイムの執筆はPatreonと貯蓄で支えている
- Patreon収入は月およそ900〜1,000ドル水準である
- 初期のBitcoin保有で、運よく長期間使えるだけは稼げたが、永続的に十分というほどではない
- できるだけ支出を減らし、執筆のrunwayを延ばそうとしている
- PatreonとSubstackの報酬設計は、Gwernにはしっくりこない
- paywallを作らずによい特典を設計するのは難しいと見ている
- Scott Alexanderのように定期ニュースレター式の更新を好む人にはPatreonやSubstackはよく合うが、自分はそうした方式を好まない
- 年12,000ドル未満で暮らす条件は、非常に質素であることだ
- 人里離れた場所に住み、旅行・外食・健康保険の支出がほとんどなく、自炊し、無料のジムを利用している
- 寝室の床が湿気で腐って崩れたとき、廃材の木材と根太で支えて、虫が入ってくる程度は受け入れた例を挙げている
- 自分の暮らしを「より良いラーメンを食べる大学院生」に近いと表現している
- この生活様式は理想的でもなく、ほかの作家がそのまま真似できるモデルでもない
- これまで非常に健康で、大きな緊急事態がなかったことも幸運だと見ている
- Bitcoin、修道士のように生きることに満足する性向、健康のすべてがかみ合った特殊な事例だと語る
- 作家やブロガーを目指す人は、Substackや技術会社でJavaScriptの仕事をしながら副業で書く形など、それぞれ別の生計モデルを見つけるべきだとしている
- San Franciscoに移住しない主な理由は金だ
- San Franciscoで1か月暮らすごとに、何か月分の執筆runwayを放棄することになるのか考えたくないという
- 誰かが年50,000〜100,000ドルを払ってSFへ移住させ、いまのようにフルタイムで書き続けられるようにしてくれるなら、すぐに受け入れると語っている
AIモデルの多様性、GLP薬、環境要因、psychedelics
- Gwernは、「能力」を除けば、AIモデルはすでに人間よりも認知的にはるかに多様だと見ている
- 異なるLLMは、サンプルを見るだけでも distinct なやり方で考えていると主張する
- LLMはGANと異なり、GANはVAEとも異なっており、特に小型または性能の低いモデルでは latent space、artifact、誤りが大きく異なると見ている
- Chatbot Arenaでモデルごとの出力を見分けにくい場合について、Gwernは最近のLLMに限定され、heavily tuned された状況だと見ている
- 皆が互いのやり方を追いかけ、同じデータに近い形で訓練される文脈なので、「一卵性双生児」に近いとたとえる
- deep learning 全体で見れば、mind や思考様式の幅は非常に広いと見ている
- GANとdiffusion modelの違いは、手の表現の仕方に表れると見ている
- GANは adversarial loss のために何かを隠す誘因があり、手を画面の外に追いやったり、手について考えられなかったりする形で現れると見ている
- diffusion model は手を考えてはいるが、巨大で怪物のような形に表現してしまう誤りを出すと語る
- 現在、人々が含意を十分に理解していない流れとして、GLP系の減量薬を挙げる
- 健康、依存、さまざまな行動全般への効果が驚くべきものだったと語る
- 結果はまだ preliminary だが、実際の効果のように見えるという
- 人間の意志力と dysfunctionality について重要なことを教えてくれる可能性があると見る
- GLP drugs が Algernon argument を破るかどうかを判断するのはまだ早いと見ている
- GLPが実際に何をしているのか理解できていない状態だという
- 利点が fertility の観点での fitness を下げる可能性や、遺伝的に複製するのが非常に難しいやり方で身体に作用している可能性があると語る
- 肥満危機は1990年代ごろになってようやく明確になった最近の現象なので、20〜30年規模には Algernon argument を適用しにくいと見ている
- 現代の環境に、古代ローマの鉛中毒のように大きな影響を与える要素がある可能性はほぼ100%だと見ている
- 化学者たちは新しい物質を作り続けており、microbiome 関連の要素もあり、plastics が有力候補だが、必ずしも plastics とは限らない
- 特定の原因を信じているわけではないが、「1% here, 1% here」という形で蓄積する有害な何かがあるかもしれないと見る
- 時系列を見ると intelligence は全体としてかなり安定しているため、実際の有害要因は intelligence より obesity の側にある可能性が高いと見ている
- Bay Area式の psychedelics 実験には懐疑的だ
- psychedelics の効果は acute で permanent になりうる
- nootropics は比較的 effect が manageable で制御可能だと見ている
- LSDのようなものは、LSD服用に対する見方や psychiatric state を永続的に変える可能性がある
- 数回の使用はよいかもしれず本人も利益を得たが、それ以上であれば、どんな利益を得ていて自分がどう変わっているのかを真剣に点検すべきだという
文学、フィクション、残された問い
- インターネットがなければ、Gwernは正規の学界で生き残るために関心を狭めて継続的に出版していたか、あるいは Jorge Luis Borges のように司書になる方向へ進んでいたかもしれないと語る
- Borgesの「天国を図書館として想像する」という考えに以前から同意しており、自分も図書館を愛しているという
- 今はたいていコンピューターで読むため、物理的な図書館であまり時間を過ごせないことを残念に思っている
- BorgesはGwernにとって英雄のような作家だ
- Dan Simmonsの Hyperion と The Fall of Hyperion、Kevin Kelly の Out of Control、「The Library of Babel」を経て、Borgesの小説・ノンフィクション全集を繰り返し読んだ
- 博識を土台に、創造的で面白く挑発的な短編やエッセイを書ける点に圧倒され、もし誰かのような作家になれるなら Borges になりたかったと語る
- 最初は理解できなかったが後になって理解した文学として、Ted Chiang の「Story of Your Life」と Gene Wolfe の「Suzanne Delage」を挙げる
- 「Suzanne Delage」は、Draculaが町に侵入して女性を奪い、語り手をBram Stoker風に洗脳してすべてを忘れさせるという、繊細な Dracula の語り直しだと解釈する
- 「Story of Your Life」は、タイムトラベルや未来予知ではなく、すでに決まった物語と予定された結末の一部としてすべてを見る、異質だが同等に有効な心についての物語として理解している
- フィクションの効用には冷笑的だ
- 一生 fiction だけを読んでも、人が作り出したものに関する雑学をたくさん覚える以外には何の利益もないかもしれないと見る
- 自分が読んだSFの99%はまったく役に立たず、実際に視点を変えるほど洞察に富んでいた作品は、小説・短編あわせて20作ほどにまで絞れるという
- それら上位作品の共通点は、非人間的知能を真剣に扱っていることだ
- 自分が人々の人生で担いたい役割は、Claude-3 のようなLLMで「Gwern」というキャラクターが mentor や old wizard のように現れるときの役割に近い
- 状況についての洞察を与え、「君も文章を書き、何かをし、考えることができる」という call to adventure を与える人物に近い
- 読者が単に面白さや情報を得るだけで終わらず、ウェブページやインターネットはもっとよくなりうるという aspiration を持ってほしいと願っている
- 実際には、一部の人にとって guru や trickster devil のような存在になりうることを懸念している
- 好きな人にとっては、サイトのあらゆる内容を gospel として受け取ってよい存在のように見なされうるが、本人はそれを嫌っている
- 嫌う人にとっては、covert、malicious、neo-Nazi、eugenicist、totalitarian、communist、anti-Chinese devil figure のような、誇張された悪役として見なされうると語る
- 2050年までに答えを得たい open rabbit holes は、人間と文明に関する大きな問いだ
- なぜ眠り、夢を見るのか
- なぜ人間は老化するのか
- なぜ有性生殖が存在するのか
- なぜ人間は互いにあれほど異なり、日ごとにも変化するのか
- なぜ人間は技術文明を発展させるのにあれほど長い時間がかかったのか
- 宇宙人はどこにいるのか
- なぜ産業革命は中国ではなく別の場所で起きたのか
- deep learning revolution をどう予測すべきだったのか
- なぜ人間の脳は artificial neural networks と比べてあれほど oversized なのか
1件のコメント
Hacker News のコメント
文章を書くということは、Shoggoth が認める数少ない通貨、つまり予測されるべきトークンで未来に投票すること。書かないなら、未来やその中での自分の役割を放棄するのと同じで、善良な市民として暮らし、投票し、ゴミを拾い、リサイクルしていれば十分だと思っても、未来は気にしてくれない
AI 予測は、実際の人間がAI生成メディアが人間の創作物を置き換えることに成功したか、そもそも成功するのかをどう判断するかを、ほとんど考慮していないように見える。今では、プロジェクトがAI生成物だと知られることはむしろマイナスで、2年前ならブログのヘッダーにAI画像があると格好よく見えたが、今では時代遅れの人に見せてしまう
だから、超知能AIが人間の創作物・エッセイ・文章・動画などをすべて置き換えるという予測には懐疑的だ。可能だからといって、実際にそうなるとか、人々が気にするという意味ではない。むしろ、人間であることを検証する方法が定着し、アテンション・エコノミーは依然として実在の人間に集中し、誰も相互作用しないAIゴミの墓場ができる可能性のほうがはるかに高そうに見える
AIが支配できないという論理は、私たちが象徴と物語を中心に組織されており、弱くなったり劣ったりしたミームに非常に敏感なので、AIは毎回自分自身を「AIではないもの」として再発明しなければならない、というものだ。ただし音楽を例にすれば、限られた変奏が何十年も支配することもあるし、産業機械が作ったポップスターのようなゴミからでも、何百万人もの精神を一生つかむ支配的なミームが生まれた前例がある
今日のAIは、そうしたポップスターたちの意味体系全体を模倣できるし、TV Tropes は人々が免疫を持つべき文化的ゴミの要素をすべて整理しているが、それでも何百万人もの人々がポップのゴミから受け取ったキャラクターや物語を生きている。今の音楽・テレビ・映画が人々の存在論を形作っているように、AIゴミが存在論を形作るロングテールは確実に生まれるだろうし、それはAIシミュレーションに巻き込まれることにかなり近く、もっと微妙なものかもしれない。あるいは、単に振り払えるのかもしれない
人類は、ハードテイクオフの前に性能向上に収穫逓減をもたらす扱いにくい情報理論的限界にぶつかるだろう、という考えに未来を賭けているが、現在実証されている手法が何らかのS字カーブの高い地点にあるという主張は、現時点では信用しにくい。AIモデルは今年が去年より、去年が一昨年より劇的に良くなっており、今後数年は改善し続ける可能性が高い
それだけでも、社会的・経済的プロセスのかなりの部分を、良くも悪くも大きく変えるには十分だ
たとえば Dall-E 2 は、最初に出たときのほうが今よりずっと良かったし、現在のバージョンは現代作家の出力物に似たものを作れないよう調整されており、他のものも目障りなオレンジ・青のトーンでレンダリングされるよう変わったのは明らかに見える。結局、より良いモデルが出るか流出すれば、どの画像がAI生成でどれがそうでないのか区別できなくなるだろう
むしろ、自分の意見に合う内容を生成AIでスパムしたり、ケニアに行って低賃金のRLHF作業をしたりするほうが、より大きな投票権を行使することになるのかもしれない
この記事で描写されているほど Gwern が質素に暮らしているとは信じにくいし、本当に本人なのかも分からない。Gwern には見せたいペルソナがあり、質素に見えることもその一部だとほぼ確信している
「Gwern とは誰か？」という問いに対しては、人々の心に種を植えておき、残りの物語は各自に作らせるタイプだと思う。それでも彼の文章の多くは好きで、とくに、ほとんどの人が考えることすらやめてしまうような奇妙で狭いテーマがいい
Gwern のサンクコストの誤謬に関するエッセイのおかげで、気が変わったタトゥーを結局入れずに済んだ。予約金を払ったという理由でほとんど入れるつもりだったが、タトゥーを入れる1週間前にその文章を読んで、「子どもや動物でさえサンクコストにだまされないなら、自分もそうすべきではない」と判断した。文字どおり Gwern の文章が私の背中の皮膚を救ってくれた
人々が今後、彼の効果的な倹約ぶりだけを見て型にはめるのは気に入らないが、それを補うくらい、直接であれ patreon.com/gwern 経由であれ、たくさん支援を受けていてほしい
聞くのがつらいインタビューだった。その理由は微妙に似た二つの点にあった。
声が不気味の谷に引っかかっているようで、リアルではあるが聞きづらかった。正確には、その声から意味をつなぎ合わせる作業が認知的にしんどく、声色と意味が互いに支え合っていなかった。子どもたちがこうしたランダムなトーンの声の中で育てば、変わるのかもしれない。
会話も過度に冗長だった。広い語彙が推論の貧しさを覆い隠すことは多く、聴き手によっては単語を理解しようとする努力が、単語同士の関係、つまり意味を理解することを妨げ、賢そうな言葉の寄せ集めのように聞こえることがある。語彙や微妙な嘲り、「自分は口にしている以上のことを知っている」というスタイルを取り除くと、的外れで推論も完結していない雑談がかなり見えてくる。そうした推論の浅い会話自体は構わないが、馴染みのない語彙やスタイルで包むのは誤解を生み、不親切だ。「賢そうに見える」断片の一部は、実のところ単に着飾った愚かな断片でしかない。
AI生成音声の最新水準をよく知らないので間違っているかもしれないが、偽物のようには聞こえなかったし、リンク先の出典も人間だと言っている。おそらく、対話の書き起こしを読んでいる人間が会話のように聞こえさせようとしたため、奇妙に感じられたのかもしれない。
AIをテーマにした興味深いポッドキャストインタビューが多く出た週だった。
これ以外にも、Anthropicの主要人物たちへのLex Fridmanのインタビューシリーズ https://youtu.be/ugvHCXCOmm4 があり、AIリスクをテーマにしたStephen WolframとEliezer Yudkowskyの長い対話 https://youtu.be/xjH2B_sE_RQ もある。
いちばん好きなGwernの洞察はBitcoin is Worse is Betterだ。Bitcoinに対する長い反論リストを要約した後、共通点はあるかと問い、答えは「ない。Bitcoinの問題は醜いことだ」とする。
ネットワークの安全性を相手より多い力任せの計算力だけに依存させるのも醜いし、二重支払いを避けるために現在も将来も処理能力の過半数が必要だというのも醜いし、増え続けるハッシュツリーも醜いし、プロキシや迂回なしにはオフラインで使えないシステムも醜いし、すべての取引を公開で追跡しなければならないのも醜い、という具合だ。通貨供給量を固定すべきだとしても、2,100万枚という恣意的な上限はなぜその数字なのか、もっと丸い数や2の冪ではだめだったのか、とも問うている。マイニングも初期参加者への過大な贈り物であり、誤ったアドレスに送るとBitcoinがそのまま消えてしまう点まで含め、全体として醜く、優雅ではないという批判だ。
https://gwern.net/bitcoin-is-worse-is-better
頂点にビジョンを持つ一人だけがいるAI企業という希望混じりの想像に、なぜこれほど信用を置くのか理解しがたい。
第一に、実際のビジョン型CEOはきわめて狭いニッチだ。第二に、ほとんどの会社はそのようには動いておらず、人員が存在するという事実は、会社が生み出すものと同じくらい重要だ。第三に、賃金労働という最も一般的な経済の駆動力が突然消えた社会で、誰がそのサービスや製品を買ったり借りたりするのか？
社会的含意を完全に無視してもよいかのように、システムを好き勝手に変えたり変形したりできると仮定する体系的思考には、非常にいら立つ。周囲には、実質的には自己確信に酔った、美化されたサイロ型エンジニアたちが「思想家」のふりをしている。
引用されている Newton 関連の段落のリンクは Gwern のウェブサイトの記事につながっており、その記事には内部・外部リンクがいくつもあるが、Newton の「進歩」観を裏づけるリンクは見つけられなかった。
「速い進歩」という概念は相対的なものだ。当時にも速い進歩はあったし、今はさらに速い進歩があるだけで、矛盾はない。数世紀にわたる造船の改良、ラテン語の哲学長詩、針や印刷機を見ても私たちは大して感心しない、という話にも同意しない。私たちは十分に感心している。
このインタビューがどうしてあれほど多くの推薦を得たのか分からないし、時間を無駄にした気分だ。
https://gwern.net/newton#excerpts の大きな2つ目の引用は、https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173 へ非常に目立つ形でリンクされていて、Newton が義理の息子に直接語った言葉から取った私の主張を十分に正当化していると思った。Lucretius など他の歴史的な発言とも密接に対応しており、それらも明確な参考文献と具体的な引用文として示した。
これをまったく裏づけていないと表現するのは少し理解できず、もしかすると別のページを見ているのではないかと思う。
現在の時間線で先進的な人類文明が自らを破壊したと信じているというより、短い期間に人生を変えるブレイクスルーがあまりにも多く現れたことが、グレートフィルター へ向かう止まらない行進のように見えるからだ。
かなり攻撃的に聞こえるだろうし、実際少しそうなのだが、このフォーラムで Gwern とやり取りしたことがあり、記憶に残っているのは、Gwern が a^nb^n を正規言語だと勘違いしながら私のコメントを “not even wrong” と呼んだこのスレッドだ。
https://news.ycombinator.com/item?id=21559620
否定的な言い方で申し訳ないが、当時すでに Gwern はコミュニティのかなり大きな一部から、AI 分野の重要なインフルエンサーとして持ち上げられていた。私にとっては、研究ではなくソーシャルメディアで影響力を競う大多数の AI インフルエンサー が、実は AI とコンピュータサイエンスをよく知らず、二次知識を整理して大衆化するのが得意なだけだという好例だった。AI の主流見解の応援団になるのは簡単だ。難しいのは独自の方向を見つけ、それを追うことだ。
Transformer は a^nb^n を知的には容易に理解できるが、任意の長さの文字列がその言語の要素かどうかを判定することはできない。ただしこの制約は人間も共有している。文字列が十分に長ければ、人間も結局は数を見失うからだ。
さまざまな努力は尊重するが、工学とは、すべてを知る必要なく人々が使えるものを作ることだ。人間 Google 検索エンジンになるより、はるかに興味深い仕事だ。
アバターのアイデアは興味深いが、話すアバターを作るより、単に 声と音声波形 だけのほうがよかった気がする。知らない人の精神的イメージを持ちたくないという個人的な好みかもしれない。映画化を見た後で本を読むのに似ている。
俳優が声を吹き替えるのは普通だが、俳優が匿名人物の顔を見せるのはかなり 特異な選択 だ。
匿名性の利点：「人々が私の家にヘロインを送ったり、警察に虚偽通報して SWAT を出動させたりできないので、多くの利益を得ている」
匿名性の欠点：無料のヘロインがない