- 子どものころの小川せき止め遊びは、力と知識が増すにつれて、単なるいたずらではなく 遊びの境界 を壊しかねない選択へと変わる
- 大きなシャベルで川岸を崩せば、ダム作りのパズルには簡単に勝てるが、その瞬間に再び遊べる ゲームの空間 は狭くなる
- K'Nexの投石器、爆竹の実験、弓作りのように限界を試していた活動は、危険と結果を知ったあとでは、もはや全力で押し進めにくくなる
- 投資銀行からのオファーは、「できるだけ多く金を稼ぐゲーム」も同じ段階に達していたと気づくきっかけだった
- 人工知能開発もまた同じ比喩の中にあり、全力で成功することが、比喩的な爆竹の爆発のように、かえって実りの少ない結末になりうる
全力を出せなくなる瞬間
- 子どものころ、裏庭の小川をせき止める遊びは、石、落ち葉、砂で穴を埋めながら、水位をどこまで上げられるかを見る活動だった
- あるとき、5フィートの大きなシャベル で川岸を崩せば、もっと本格的で大きなダムが作れるという考えが浮かぶ
- 父は、そのパズルはもう解いてしまったから、もう思いきり小川をせき止めて遊ぶことはできないのだと言った
- 勝利の代償は、遊べる空間が減ることであり、チェックメイトは盤上ではなく遊びの外で起きる
- 同じ変化はほかの遊びでも繰り返される
- 天井に穴を開けてしまってからは、K'Nexの投石器作りは、不注意に楽しめる活動から注意が必要な活動へと変わった
- 爆竹を束ねてどれだけ大きな爆発を起こせるか確かめることも、限界の果てまで試すことは許されない
- ティラリング (
tillering) のこつを覚えたあとは、友人との裏庭の戦いのために、弓矢を全力で作ることはできなくなる
- 投資銀行のオファーを得るために、leetcoding、ビルドシステムの勉強、履歴書の磨き込みを必死にやったが、オファーを受け取った瞬間、できるだけ多く金を稼ぐゲーム を続けることはできないという判断に至った
AI開発に置かれた同じ比喩
- 十分に強い相手がいれば、長いあいだ全力でぶつかり続けられる
- 干潮時のタイドプールから流れ出る水流で遊ぶ浜辺の遊びがその例だ
- 手で砂をせき止めて湖、三角州、峡谷を作れるが、押し寄せる潮ははるかに強く、あらゆる結果を消し去ってしまう
- 理解が深まるほど、選択肢は再び狭まる
- 手やシャベルで砂を押す段階を超えて、市議会にグローイン (
groin) や防潮壁 (seawall) の設置を働きかければ、浜辺の砂を現実に大きく動かせてしまう
- だから実際には全力を出すことはできず、そうしたいとも思わない
- 手で砂を掘っているあいだにも、波のあとにまた潜り込む coquina貝 の跡が見え、4歳のころには見えなかった結果が、いまは見える
- 2フィートほどの小さな土木工事に偶然すばやく埋められた貝が、また表面に戻れるのかという疑問が浮かぶ
- おそらく大半は戻れるだろうと推測し、そのまま続ける
- この比喩は 人工知能開発 にもつながる
- 全力を尽くす過程はおもしろく、実際にやりがいのある冒険だった
- しかし成功して、比喩的な爆竹の爆発で手を吹き飛ばすことは、より実りの少ない結末になる
- この判断は、隣人とどちらが先に手を吹き飛ばすか競っている状況として比喩を拡張しても、あるいは皆が一つの手を共有しているという形にしても変わらない
- 前向きな面として、Anthropicは教育分野での利用に関する最新レポートで、少なくともcoquina貝に気づいているように見える
1件のコメント
Hacker News のコメント
良い文章だが、核心は AI 開発ではなく、冒頭にある「できるだけ多くのお金を稼ぐこと」にあると思う。
AI に見られる問題は、開発そのものよりも マーケティングと普及から生じる。面白半分で小川をせき止めて失敗したり、手をけがしたりするのは悪いことだが、規模は自然に制限される。楽しさや挑戦のためにやることは、個人が楽しめる範囲を超えて大規模に起こりにくいからだ。
みんなが AI を、面白がって小川をせき止めるように扱うなら、大した問題はないだろう。モデルが強力であっても、金儲けよりもいじって遊ぶことへの関心のほうが大きく、奇妙で断片的なものになる可能性が高い。HN に投稿されるさまざまな趣味プロジェクトのように「すごいね」と通り過ぎ、重要な依存点には組み込まないはずだ。
AI であろうとなかろうと、何かを「できるだけ多くのお金」を稼ぐために使い始めた瞬間に問題が起きる。また文章の終盤では、Anthropic が貝に気づき始めたかのように語っているが、文章中のいくつもの例で止めたのは自己省察ではなく、親のような外部の権威だった。大半の人は著者ほど内省的ではなく、「負ける理由のない人々を相手にゼロサムゲームで勝つこと」や貝など、気にしないかもしれない。誰かがシャベルを取り上げなければならない。
「できるだけ多くのお金を稼ぐこと」を、「何かが壊れるまで続けてはいけない」という原則の例外のように扱う限り、AI があってもなくても、この種の問題は続く。
今は引退して、自分の「ソフトウェアの庭」であれこれいじって過ごしている。AI も問題解決やコードの下書き作成に使うが、目的は個人的な満足だ。
道具を持つ人が少なければ、職人は非常に価値がある。知識や本物の実力が過剰供給されていないので大金を稼げるし、他の人は道具も技術もないため追いつきにくい。先行する努力だけで裕福になれる。
みんなが同じ道具を持つようになっても、職人にはまだ価値がある。時間をかけて蓄積した知識と技術は希少で、さらに先に進むために技術を伸ばし続けるインセンティブもある。
道具が仕事を代わりにやってくれるようになると、職人の価値は限られる。彼は遺物のようになり、どれだけ専門性を高めても、ほとんどの人は道具を起動するだけで十分にまともな成果物を得られる。
今は第2段階と第3段階の間にいる。まだアルゴリズム設計やアプローチの複雑さを面接で尋ねるが、多くの人は「では、これから何をすべきなのか？」という転換点へ移れずにいる。
これから価値は、自動化がどう動くかを知っていることからは以前ほど生まれず、平均的な人より大きな価値を生み出すために道具を使うことから生まれる。この知識さえあれば安定した、あるいは収益性の高い人生を送れると教わってきた人々にとっては、難しい転換だ。
もう SDE 面接をする時期は過ぎており、エンジニアを探すときには、道具のバージョンを自分で作れる人よりも、現在を受け入れ、利用可能な道具に人間的な効用を加えて、全体を部分の総和より大きくできる人をより求めるようになる。
ソフトウェアを作ることの最も良い部分は 創造性であり、その部分は変わっていない。むしろ今、さらに重要になっている。
結局のところ、私たちは消費者が使うものを作る。小川が別の方向へ流れ始めたなら、昔水が流れていた場所に石を積み続けるのではなく、変わったという事実を受け入れて適応しなければならない。
親の財産を壊すことには限界があると知っている自分を称賛し、浜辺の砂を実存的な素朴さの Instagram 的瞬間として味わえる自分を称賛し、手を吹き飛ばせたかもしれないほど賢い自分を称賛している。「Leetcoding」が何なのかは知らないが、それも同じで、怪しい職場を退屈だから辞めたと言いながら、良心が芽生えたのかもしれないとほのめかす。最後は「もちろん、これは人工知能開発についての話だ」で終わる。
ここにもう一つ加えるなら、お金より愛が欲しいが、実は両方欲しいという心理が見え、それでもなお世界にとって悪いものを重要な依存点へ押し込もうとしている。愛であれお金であれ、得られるものを得るための試みに見える。私の両親はこういうものを「良い注目でも悪い注目でも、とにかく注目さえされればいい子」と呼んでいた。
過去20年間のテック億万長者の大半の根本的な原動力はこれだと思う。Bezos、Zuck、Jobs、Dorsey、Musk をつなぐのは、「お父さん見て、お金を持っていっただけじゃないんだ。花火で手を吹き飛ばせるくらい賢かったけど、見て、両手ともあるでしょ。お父さんのお金でこんなにたくさん稼いだんだ。どうして誇りに思ってくれないの？ 愛はどこで見つければいいの？ 僕がどれだけ Leetcoder か、悪い AI も作れるけれど良い AI だけを作っていると言えば、みんな僕を愛してくれるの？」というような欲望だ。
もちろん、私もこうした感情から自由ではない。良い仕事をしたいし、自分のしたことを人々に気に入ってほしいと思う。だが、こういう文章にはあまりにも露骨な 誇示欲とナルシシズムがある。本当に天才なら、貝と一緒に寝転がっているなり、小説を書くなりすればいい。本当に良心があるなら、良心があると言う勇気を持て。残りは放っておき、理解していない世界を幼稚な貪欲さと自己執着で汚染しないでほしい、と思う。
すばらしいエッセイで、著者と同じように感じるものの、自分ならここまでうまく表現できなかったと思う
ただ、AI研究者たちがこの助言を受け入れてペースを落とすと期待しているなら、待たないほうがいい。著者は道徳的な理由で高給の金融の仕事を辞めたと言っていて、それは尊敬に値する。だが Wall Street は回り続けるし、「できるだけ多くの金を稼ぐ」ゲームをやりたがる人には事欠かない
企業や機関をAIになぞらえた最近のHNコメント [0] が印象に残っている。そうした組織はすでに超人的知能のように機能している
[0] https://news.ycombinator.com/item?id=43580681
Amazon、Google、OpenAIのような企業はかなりの速さで地球を壊していて、Citadelのような企業は金をあちこちに動かしているだけだ
ここで言う tillering は、草から脇芽が出るという意味ではなく、弓を作るために木をしならせるよう削って整えるという意味だった。新しい単語を学ぶのは楽しい
[1]: https://www.howtomakealongbow.co.uk/part-5-tillering
[2]: https://en.wikipedia.org/wiki/Tiller_(botany)
しならせてみて削り、またしならせてみる、という形で段階的に木を取り除いていく反復作業だ
小川をせき止めたり、海辺の砂で遊んだりする話は健全で、笑ってしまった。パズルを解くこと は、遊びがもはや楽しくなくなるゲームのバッドエンドに近い
人は、もっと上手くなるためではなく、楽しいから何かをすることにもっと時間を使うべきだ。終末が自分の生きているうちに来るにせよ来ないにせよ、私はどちらにしてもできるだけ人生を楽しむつもりだ
Vonnegutが最もうまく言っていた
https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...
https://www.goodreads.com/quotes/12020560-talking-about-when...
「封筒を1枚買いに行くと妻に言うと、妻は、あなたは貧乏人でもないのだからオンラインで封筒を100枚買って戸棚に入れておけばいいじゃない、と言う。だから私は聞こえないふりをして、封筒を1枚買いに出かける。封筒を1枚買う過程で、とても楽しい時間を過ごせるからだ。たくさんの人に会い、すてきな人たちを見かけ、消防車が通れば親指を立て、ある女性にはその犬は何という犬種かと尋ねる。この話の教訓は、私たちは地球にぶらぶらするために来ているということだ。もちろんコンピューターはそれを奪っていくだろう。コンピューターの人たちが知らない、あるいは気にかけていないのは、私たちは踊る動物だという点だ。」
― Kurt Vonnegut
著者は AIリスク、つまり「AIが私たち全員を殺す」ということを心配しているようで、これはLessWrongではよくある題材である。
しかし最新のAIモデルをよく使う立場から見ると、予測可能な時間範囲内にそのようなリスクが存在するのかはまったく明らかではない。今日の最高のモデルでさえ、簡単にうのみにし、洞察や独創性に欠けている。
Dwarkeshが以前こう質問していた。「これらのモデルは事実上、人間の知識全体を暗記したようなものなのに、発見につながる新しいつながりを一つも作れなかったという事実を、科学者としてどう見るのか。普通程度に賢い人がこれほど暗記していたら、『これがこの症状を引き起こし、あれも同じ症状を引き起こすなら、ここに治療法があるな』といったことに気づくのではないか。そう期待すべきではないのか」
私も少し前に似たような経験をした。GPT-4.5 “Deep Research”に、ある材料が特定の機械部品に最適かどうかを尋ねたところ、最初の答えは笑えるほど愚かなLinkedIn記事をそのまま写したもので、2つ目の答えはマーケティング色の強いプレスリリースから来たものだった。独創的な洞察はまったくなく、結局、調査と実験は自分でやるしかないという結論になった。
要点は、大規模言語モデルが人類を皆殺しにするほど恐ろしく新しい方法を生み出せるとは思えない、ということだ。この5年間で、この点はまったく変わっていない。今ではLinkedIn記事をざっと読み、Web上でプレスリリースを探せるようになっただけである。
さらに、これらのモデルには独立した意志も、時間・空間の感覚もない。原理的に見ても、真の独立した行為主体として機能できるのかは明らかではない。
しかし、さまざまな荷重を受けた部品のX線CTデータと、その部品の用途説明を一緒に学習したマルチモーダルモデルを作った人がいるのかは分からない。そうしたモデルなら、この質問にかなり良い答えを出せそうだ。
ただし、だまされやすい愚か者たちが人類を完全に崖っぷちへ追い込むようにすることはあり得る。すでに今、そのことが起きつつある。モデルが独立した行為主体である必要はなく、賢そうに見えさえすればよい。
「それを手に入れて初めて、『できるだけ多くのお金を稼ぐ』ゲームをもう続けられないことに気づいた」
おかしいのは、私の父は私が12歳のとき、思いやりからそれを教えてくれたということだ。論理を愛するSpockのような人々を、なぜこれほど美化するのか分からない。Star Trekの本当の英雄はCaptain Kirkだったことを知らないのか。彼には思いやりがあったからだ。
ZizianたちがLessWrongから出てきたのも驚きではない。
金になることがあるなら、シャベルを持った人であれ、花火をトラック1台分積んできた人であれ、常にリスクを取ろうとする誰かがいる。特にそのリスクを大衆に転嫁できるなら、報酬は自分が手に入れようとするだろう。
親なら毎日子どもを見ながら、この小さく、驚くべき、奇妙で、独特な存在に驚嘆することがあるのではないか。
LessWrongの書き手たちは、毎日鏡を見ながら同じように感じているようだ。
「coquina」の比喩が何なのか説明が必要だ。
現実には、AnthropicがAGIを作るという巨大なことをしながら、それが人々に与える潜在的な影響にようやく気づき始めた、という意味に見える。
Anthropicが自分たちの取り組みが他人にもたらし得るリスクに気づき始めた、という意味のようだが、正確に何を指しているのかはよく分からない。
[1]: https://www.youtube.com/watch?v=KZUlf7quu3o
手で砂を少し掘って小さな生き物を一時的に埋めることと、「市議会議員にロビー活動して突堤や防波堤を設置し、浜辺の砂を実際に動かすこと」の違いのようなものだ。
https://www.anthropic.com/news/anthropic-education-report-ho...