OpenAIのモデルが離散幾何学の中心的予想を反証
(openai.com)- 単位距離問題は、平面上の n 個の点の間で距離 1 の点対を最大で何組作れるかを問う1946年の Erdős の問題であり、長年の中心的予想が反証された
- OpenAI の 汎用推論モデルは、正方格子系列が事実上最善だという信念を覆す無限の例族を構成し、多項式レベルの改善を示した
- 新しい構成は、無限に多くの n について
n^{1+δ}個以上の単位距離点対を作り、Will Sawin による改良ではδ = 0.014が可能であることが示された - 証明ではガウス整数を超えて、無限 class field tower や Golod–Shafarevich 理論 などの代数的整数論の道具を幾何学の問題に適用した
- この結果は、AI が古い未解決問題において 独創的な数学的発見 に貢献しうることを示し、人間の専門性は問題選択と解釈においてより重要になる
単位距離問題のブレークスルー
- 単位距離問題は、平面上に置かれた n 個の点の間で、ちょうど距離 1 である点対を最大で何組作れるかを問う組合せ幾何の問題である
- Paul Erdős が1946年に提起し、Brass, Moser, Pach の2005年の書籍 Research Problems in Discrete Geometry は、この問題を「組合せ幾何で最もよく知られ、説明しやすい問題である可能性がある」と表現している
- Princeton の組合せ論研究者 Noga Alon は、これを Erdős が特に好んだ問題の一つとして紹介しており、Erdős はこの問題の解決に賞金を懸けていた
- 長らく、正方格子系列の構成が単位距離点対の数を事実上最大にするという信念があった
- OpenAI の内部モデルは、この長年の予想を反証する無限の例族を構成し、多項式レベルの改善を与えた
- 証明は外部の数学者グループによる検証を受け、外部の数学者たちは論証、背景、この結果の意味を扱う伴走論文も執筆した
- 証明本文は unit-distance-proof.pdf、伴走論文は unit-distance-remarks.pdf、モデルの思考連鎖の要約版は unit-distance-cot.pdf で見られる
AI が見つけた方法
- 証明は、数学専用に訓練されたシステムや証明戦略探索用のスキャフォールディング、単位距離問題専用システムではなく、汎用推論モデルから生まれた
- 最先端モデルがフロンティア研究に貢献できるかを評価する、より広い取り組みの一環として Erdős 問題集で評価が行われ、この問題では未解決問題を解く証明が生成された
- 数学は、問題が精密で、候補となる証明を検証でき、長い論証が最初から最後まで一貫性を保つ必要があるため、推論能力を試すうえで明確な領域である
- 証明は、一見初等的に見える幾何の問題に 代数的整数論 の予想外で洗練されたアイデアを適用している
- Tim Gowers は伴走論文で、この結果を「AI 数学のマイルストーン」と表現している
- 数論研究者 Arul Shankar は、現在の AI モデルが人間の数学者の補助者を超え、独創的で洗練されたアイデアを出し、それを最後まで遂行できることを示していると評価している
単位距離問題の数学的内容
- u(n) は、平面上の n 個の点の間で可能な 単位距離点対 の最大個数として定義される
- 単純な構成としては、n 個の点を1本の直線上に置けば n−1 個の点対を作れ、正方格子では約 2n 個の点対が作れる
- 従来最良の構成は、再スケーリングした正方格子から得られ、定数 C に対して
n^{1 + C / log log(n)}個の単位距離点対を作る log log(n)は n が大きくなるにつれて増加するため、指数の追加項は 0 に近づき、この構成の成長は線形よりわずかに速い程度にとどまる- 数十年にわたり、この比率が事実上最善だと広く信じられており、Erdős は技術的には
n^{1+o(1)}の上界を予想していた - 新しい結果はこの予想を反証し、無限に多くの n に対して、ある固定指数
δ > 0が存在し、少なくともn^{1+δ}個の単位距離点対を持つ n 点配置を構成する - 元の AI 証明は明示的な δ の値を与えていなかったが、Princeton の数学教授 Will Sawin によるその後の改良で
δ = 0.014を取れることが示された
なぜ驚くべき結果なのか
- 1946年の Erdős の元の構成以来、知られていた最良の下界は本質的にほとんど変わっていなかった
- 知られている最良の上界
O(n^{4/3})は、Spencer, Szemerédi, Trotter による1984年の研究に由来し、その後の Székely、Katz と Silier、Pach、Raz、Solymosi らによる改良や関連構造の研究にもかかわらず、本質的には維持されてきた - Matoušek と Alon-Bucić-Sauermann は、平面の非ユークリッド距離においてこの問題を研究し、「ほとんど」の非ユークリッド距離がある意味で Erdős の予想に従うという結果を示して、予想を後押ししていた
- 新しい構成の主要な材料が、幾何や距離からは遠く見える 代数的整数論 から来ている点は特に驚きである
- 代数的整数論は、代数的数体と呼ばれる整数の拡大の中での因数分解のような概念を扱う分野である
代数的整数論から来た新手法
- 新しい証明は、なじみ深い幾何学的アイデアから出発し、予想外の方向へと拡張していく
- Erdős の元の下界は、
a + biの形をした ガウス整数 を通じて理解できる - ここで a と b は整数で、i は −1 の平方根である
- ガウス整数は通常の整数を拡張したもので、整数と同様に素元への一意分解のような性質を持つ
- このような整数や有理数の拡大は 代数的数体 と呼ばれる
- 新しい論証ではガウス整数の代わりに、より複雑な代数的整数論の一般化を用い、より豊かな対称性によって、より多くの単位長差を生み出せるようにしている
- 正確な論証では、無限 class field tower や Golod–Shafarevich 理論 のような道具を用いて、必要な数体が実際に存在することを示す
- これらのアイデア自体は代数的整数論研究者にはよく知られていたが、それがユークリッド平面の幾何問題に影響するという点は大きな驚きとして受け止められている
数学にとっての意味
- AI システムが、活発な分野の中心にある古い未解決問題を自律的に解いたという点で、AI と数学の相互作用における重要な瞬間となる
- 外部数学者による伴走研究は、元の解法だけでは見えない、より豊かな全体像を提供している
- Thomas Bloom は伴走論文で、AI 生成証明の重要性を評価する際には、その証明が問題について何か新しいことを教えてくれたか、離散幾何をよりよく理解させてくれたかを問うべきだと書いている
- Bloom は、この結果が数論的構成がこうした問いに対して予想よりはるかに多くを語りうること、そして必要な数論が非常に深いものになりうることを示していると評価している
- Bloom は、今後数か月のうちに多くの代数的整数論研究者が離散幾何の他の未解決問題を詳しく見るようになるだろうと見ている
- 代数的整数論と離散幾何のあいだの予想外のつながりは、特定の予想を解決するだけでなく、関連問題をさらに探るための 橋 となる
- この結果は、AI が答えだけでなく、その後の人間による理解を通じて意味がより明確かつ豊かになる 数学的発見 にも貢献できることを示している
なぜ重要なのか
- より優れた数学的推論は、AI をより強力な 研究パートナー にしうる
- 難しい思考の流れを一貫して維持し、離れた知識領域のあいだにあるアイデアを結びつけ、専門家が優先していなかったかもしれない有望な経路を明らかにできる
- 複雑すぎる、あるいは時間がかかりすぎて扱いにくい問題で、研究者が前進するのを助けられる
- こうした能力は、数学を超えて生物学、物理学、材料科学、工学、医学でも有用である
- 複雑な論証を一貫して維持し、互いに遠い知識領域をつなぎ、専門家の査読を通る成果を生み出せるなら、より自動化された研究システムへ向かう長期的な道筋の一部となる
- AI は研究の創造的な部分、特に AI 研究そのものにおいて、非常に本格的な役割を担い始めると示唆される
- このような進展は、きわめて高度な知能システムのアラインメント問題、AI 開発の次の段階、人間と AI の協働の未来を理解する必要性の緊急性を強める
- その未来は依然として 人間の判断 にかかっている
- 専門性は重要でなくなるのではなく、むしろいっそう価値を増す
- AI は探索、提案、検証を助けられるが、重要な問題を選び、結果を解釈し、次に追求すべき問いを決めるのは人間の役割である
1件のコメント
Hacker Newsの意見
このHNスレッドは気が滅入るもので、なぜそう感じるのか今も考えている
OpenAIのプレスリリース的な称賛を取り払って見れば、数学研究におけるLLMの役割について興味深く繊細な問いがたくさんある
結果と一緒に載っている数学者たちのコメント、とくにTim Gowersの発言はぜひ読んでほしい
なのにコメント欄は、2023年から繰り返されてきたLLM論争、反論、怒りの再反論の戦場のようになってしまった
3年前に引かれた戦線をめぐって同じ争いを繰り返しているのが悲しくないのか、2年後もこうなのだろうかと思う
Nietzscheの有名な一節を胸に刻めば、人生は少し良くなるかもしれない: 「私は醜いものと戦いたくない。告発もしたくない。告発する者たちすら告発したくない。目をそらすことこそが、私の唯一の否定であるべきだ」
AIが能力を証明すればするほど、強固な雇用の安定がないほぼすべての人にとって不都合な方向へ傾いていく
AIが人間の知能とはかなり異なる能力の束を持ち、しかもかなりうまく補完するのだと人々が認めるには時間がかかるだろう
大規模に人間の知能を圧倒する可能性は低く、そこに賭ける企業は遅れを取ることになるだろう
こういうテーマで本当の議論をしたいのに、みなが自分の現実だけが本物で、反対側の現実は偽物だと信じているので、ひたすら激化していく
HNに来て怒ってばかりいる自分に気づいて、長く休むことがある
なぜ自分たちで自分たちにこうしているのかわからないし、根本的にはたいてい同じものを望んでいると思う
「LLMは訓練データを補間しているだけだ」という側へ: Ayerと初期Wittgensteinはやり方こそ違ったが、数学的真理は世界についての新しい事実を報告するものではないと考えていた
証明とは、公理、定義、記号、規則の中にすでに暗黙に含まれているものを展開して見せることだという考えは非常に興味深いし、それでも数学者に発見の功績を与えることに問題はない
ならば既存材料の再構成は失格理由ではないし、そうでなければFields Medal受賞者のかなりの部分が返上しなければならない
人間だって、どの分野でも毎年新次元の革新を生み出せるわけではない
LLMは「ただ」再構成していると言えるかもしれないが、Newton/Leibniz以前の代数・幾何・三角法の文献をすべて学習させたLLMが微積分を生み出せるかどうかには、なお疑問がある
ただし、この種の革新はLLMが得意な領域であり、だからといって人間も再構成的な革新をうまくやる必要がなくなるわけではない
新しいアイデアを総合するという点では、まだ人間にできてLLMにできないことが多くあるように見える
それらすべての点を包む大きな凸包を描くと、LLMはその内部で学習しているので、既存の点の間を補間して、新しいがなお凸包の内側にある点へ到達できる
凸包の外側の点にLLMが到達できるかどうかは議論の余地がある
凸包の内側の新しい点に到達するだけでも非常に有用だ
多くの新発見や証明、ひょっとすると有用な新発見や証明の大半は、すでに持っているものを出発点として到達可能なこうした点なのだ
まだ誰も時間と労力をかけていないために発見されていないだけのものが多く、LLMはそれを大きく加速できる
逆に、既存の点からの外挿・補間では届かず、本当に新しい跳躍が必要な凸包の外側の点もある
Newton力学から一般相対性理論への跳躍が候補例だと思う
Demis Hassabisは、1915年以前までの物理知識だけを学習させたAIにMercuryの軌道を見せ、それが独力で一般相対性理論に到達するかをAGI評価にしようと話したことがある
現在のLLMにそうした跳躍ができるかは疑わしく、たいていの人間にもそんな跳躍はできない
Einsteinを天才と呼ぶのは、彼が一人で一般相対性理論へ跳躍したからであり、人間には時おりそういう存在が現れるという存在証明があるが、AIについてはまだ見守る必要がある
Descartes、Newton、Leibniz、Gauss、Euler、Ramanujan、Galoisのような人々は、数学を科学というより芸術のように扱っていた
たとえばRiemann Hypothesisを解くには、おそらく新しい種類の数学が必要だと考える人が多く、LLMがそれを突然発明する可能性は低いと思う
それは無意味で関連性も低い
Deep BlueがKasparovに勝ったとき、すべてが変わったわけではなかったし、動物や機械は常に何らかの次元では人間より「優れて」いた
そもそも単一の物差しなど存在せず、仮にあっても一次元でも線形でもなく、それぞれの物差しや両端点は時間とともに変わる
だからといってAI至上主義者に勝利を渡すことにもならない
LLMは非常に有用な道具であり、これからも劇的に良くなり続けるだろうが、一部の人間が核心だとみなすあらゆる次元で人間を超えることはないだろう
AIが定量化された指標の一覧の線を越えさえすれば、普遍的に人間より優れていると認められる瞬間は来ない
「重要なもの」そのものが主観的だからだ
「すでに暗黙に含まれている」という主張が真であるためには、数学は閉じた体系でなければならないが、そうではないことはすでに証明されている
数学によって数学の外へ出られるため、Zermelo-Fraenkelをはじめとする複数の公理的な固定ピンが必要になった
私たちは客観的に「数学」と呼べるものの広大さを実際にはよく理解しておらず、私たちが認識している数学がより大きな数学の一部にすぎないか、あるいはひどく間違っている可能性すらある
そのより大きな数学が同じ閉鎖体系的な性質を持つかどうかもわからない
LLMをコーディングに多用する人にとっては、それほど驚くことではなく、時間の問題だった
数学者は数学的道具を新しいやり方で作り、適用して新発見をする
それは直感に従い、つながりを探索する膨大な反復作業だ
LLMには「発見」が何を意味するのかという感覚がないので、真の発見をしているとは言い難いが、狭い目標に向かってあらゆる数学的道具をモンテカルロ的に試し、うまくいくものを見つけ、その上に積み重ねたり改良を組み合わせたりできる
記事を読む限り、今回の発見もまさにそういう形に見え、LLMは「驚くべき接続」を使って予想された結果を超えた
だが、人間が立てた目標、AIが使った新しい経路の価値を見抜く人間の理解、そして概念を探究できるようにする人間が作った数学言語がなければ、その結果には意味がない
なぜ理解は人間が行うときだけ有効なのか
なぜ知識は人間のためだけのものなのか
もし別の種が重力と量子力学の矛盾を解決したとして、それを私たちに説明し、私たちが理解するまでは意味がないのだろうか
興味深いのは、この証明、正確には反証が、Erdősの元の予想に対する反例を見つける形で行われたことだ
リンク先のPDFにあるある数学者の反応のように、実際の予想が真であることを証明するよりはやや面白みに欠けると思う
予想が真であることを証明するには、より多くの理論構築が必要になる
なぜその予想が正しいのかを、より大きな理論に基づいて説明しなければならないが、反例ではモデルがより高度な形の探索によって正しい構成を見つければよい
もちろんこの探索は単純ではなく印象的で、反例とのつながりを証明するまでにも多くの段階が必要だった
それでも、新しく深い数学を開発したというより、既存のアイデア同士をつないだことに近いと思う
このすばらしい成果を貶めたいわけではなく、本当にどこかへ到達しつつあると思う
完全に勘に基づく話だが、モデルが新しい数学の開発を必要とするもっと複雑な予想を証明できるほど理論を構築する段階も遠くなく、より長い時間軸で作業できるようになるかどうかの問題だと思う
たいていの場合、問題を単純化しようとして境界を少しずつ削っていく
たとえば、何かが不可能だと証明するには、まず可能な場合が5つの族しかないことを示し、そのうち4つが不可能だと証明できることがある
そうなれば問題の80%は解けたも同然で、反例探しでも探索空間は80%減る
反例なら予想や飛躍を試して、当たればそれでよいが、証明ではそうはいかない
一方で、反例が見つかってしまえば、捨てられた袋小路はたいてい見えなくなる
訓練データ内にあるものをいくら長く組み合わせさせても同じだ
前にも言ったが、AIはMcDonald'sを運営する前にFields Medalを取るだろう
難しい部分は、数学のためのチェス盤、つまりLeanのような環境を作ることだったが、今やあとはパターン認識と計算だ
LLMは始まりにすぎず、まもなくStockfishに似た、より特化した数学AIが現れるだろう
完全に自然言語の入出力で行われており、いろいろな意味でむしろ反対の地点を示すかなり興味深い実演だと思う
検証は、証明確認までコンピュータに任せたいときに入ってくる話だ
今回の証明は、その分野の数学者グループが手作業で検証した
そこには多くの「逆ケンタウロス」的な自動化が入っていた
Mannaはその瞬間にやるべきことの一覧を持っていて、レジで注文が入ると、従業員にその食事を準備するよう指示した
トイレ掃除、床拭き、テーブル拭き、歩道の掃き掃除、バンズの解凍、在庫のローテーション、窓拭きのような何百もの作業を追跡し、従業員に一つずつ割り当てていた
シフトが終わると、Mannaはいつも「今日は終わりです。手伝ってくれてありがとう」と言い、ヘッドセットを外して充電台に置いた
6〜8時間のあいだ頭の中の声が非常に細かく何をするべきか指示していたので、ヘッドセットを外したあとの最初の数分はいつも混乱し、店を出るにはもう一度脳を起動し直す必要があった
[0] https://en.wikipedia.org/wiki/Manna_(novel)
Fields Medalはそのさらにずっと後だろう
でたらめではないか確かめるには人間の専門家による検証が必要だ
ここでLeanが特別なわけでもなく、単なる群集心理に近い
また、Leanの訓練がこの特定モデルにどれだけ役立ったのかもわからない
この証明は、代数的数論における予想外で精巧なアイデアを初等幾何の問題に適用している
こうした成果を読むほど、モデルの力のかなりの部分は、考えうるあらゆる分野について事前知識を持っており、それを新しい領域へ移すのに問題がないことから来ているように感じる
これらのツールの潜在的な美しさは、今日の科学において人間が直面している過度な超専門化の壁を打ち破る助けになりうる点にある
超専門化は一方では重要だが、他方では人がアクセスできる道具やインスピレーションを制限してしまう
私たちが超専門化すればするほど、LLMは異なる地平をつなぐうえで価値ある道具になる
以前はそこへアクセスするコストが高かったが、今はもうそうではない
すばらしいのは、誰かがその集合知に何かを加えれば、それが即座にほかの人たちが取り組んでいるどんな問題にも適用できることだ
もしかするとLLMは、その分野についてより水平的な理解を育てる助けになるのかもしれない
これは汎用モデルなので、物理学、生物学、歴史などでも博士以上のレベルの知識を持っている
これほど多くの領域の知識を内在化した一つの「精神」が、どれほど多くのことを成しうるのかを、私たちはまだ十分に理解していないのだと思う
OpenAIがモデルに「博士級の知能」が生まれると言ったとき、みんな笑っていたのに、今では基準が新しい数学を作れるかへ移っているのが興味深い
博士級どころか、Leibniz、Euler、Galois級を求めているわけだ
ブログ記事にリンクされているこの研究の要約された思考過程は125ページある
AnthropicがMythosで示唆していたものにかなり近い、とんでもない規模の推論スケールだ
なぜErdős問題を解いた話ばかり聞こえてくるのか不思議だ
数学には未解決問題が山ほどあるはずなのに、r/singularityやr/accelerateで見るChatGPTの「数学ブレークスルー」は全部Erdős問題だ
十分に有名で人々の関心を引く一方で、人々が大きな努力を注ぎ込むほどには面白くない問題でもある
すでに誰かが提起した問題を解くことは、数学研究ではニッチな活動だ
より一般的には、興味深い対象を研究し、手元の道具で解ける形に枠組みを作り、そのうえで解法を探そうとする
理想的には、問題設定と解法の両方がそれ自体で面白くなる
1世紀前のHilbert問題のようなものだ
印象的なのは間違いない
だが、このモデルが何で訓練されたのかわからない限り、どの程度まで「自力で」到達したのかを判断するのは非常に難しい
AI業界全体は、さまざまな分野の専門家に多額の金を払って大量の新しい訓練データを作らせてきた
それはどこにも見つからない新しい訓練データであり、企業はそれを囲い込み、その中には本当に独創的なアイデアが入っている可能性もある
誰かがこの問題を解いて、それをそのまま訓練データに入れた可能性は低いが、正直OpenAIなら絶対にやっていないとも言い切れない
もっと興味深いのは、この証明で「独創的」に見える中心命題の大半、あるいは全部に触れる訓練データを、すでに作っていた可能性だ
もちろんわからない
だが、こういうものが秘密主義でない形で作られるようになるまでは、この疑問はずっと残るだろう