1件のコメント

 
GN⁺ 3 시간 전
Hacker Newsのコメント
  • 成果や証明そのものとは別に、最新モデルでもプロンプトのかなりの部分が、実質的にモデルへ本当に問題を解けと指示するために使われている点が興味深い
    「ステータス報告、漠然とした楽観、証明されていない大域的整合性命題が『日常的』だという主張を拒否」といった文言がそれで、戦略をかなり与えている部分も目立つ
    こうした戦略は結局、モデルが自力で推論すべきことのようにも感じられ、結果を貶めたいわけではないが、GPT-4に「段階的に考えて」とプロンプトしていた初期の思考の連鎖を思い出す

    • これは、モデルが通常受ける事後学習と大きく関係している気がする
      基本的な質問には短く直線的な要約回答をするよう設計されているので、深く推論する能力はあっても、プロンプトなしではそちらに傾かない
      2026年の大規模言語モデルは非常に有能でありながら、ある種の応接間の手品のようでもあり、意識があるというより、文脈を設定してやれば坂道を転がっていく機械に近い
      正しい入力があれば本当に新しい答えに到達できるが、意志はなく、人間の案内に依存するという点で驚異的であると同時に機械でもある
    • 大規模言語モデルには基本的な推論と膨大な記憶がある
      その基本推論と枝刈りされた探索、そして莫大な計算量を組み合わせれば多くのことを証明できるが、人間が失敗してきたという記憶が可能性を事前に切り捨ててしまう
      だからこそ、過去の人間の失敗を根拠に早すぎる枝刈りをしないようモデルを説得する努力が必要になる
    • P=NPについて尋ねたときも、まったく同じ現象を見て笑ってしまった
      モデルたちは難しすぎるとして、試みること自体を露骨に拒否し、有望なアプローチだけでも提案させるにはかなり押し問答が必要だった
    • 数学研究向けに特別調整されたモデルも必要かもしれない。たとえば「gpt-5.3-codex」のように
      「gpt-5.6-mathx」に期待したくなる
    • 私もそう思ったし、プロンプトはメタヒューリスティックだらけだった
      数年前、プロンプトエンジニアリングがスキルだと言われていた時代を思い出した
      推測するに、モデルがこれを自力でできなかった理由は、たいていの問題ではこうした助言の多くが悪い助言だからだ
      探索最適化では普通、時間と品質はトレードオフであり、非常に広い探索は長時間にわたってひどい結果しか返さず、ヒューリスティック付きの深さ志向探索は素早くかなり良い結果を出す傾向がある
      モデルはたいていの場合に最善となる中間点を自然に見つけようとするのだろうが、適当な試行では足りない極めて難しい問題では、時間制約のないはるかに広い探索が必要になる
      プロンプトのかなりの部分も、探索を広げ、早期収束を防ぎ、時間的圧力を取り除く方向に見えた
  • AIエージェントで自動化しやすい作業の基準は、かなりしっかり整理するとこうだと思う。解答の正確性を容易に明示・検証できる度合い、新しい候補解答をテキストとして実装できる度合い、オンライン上に先行研究が存在する度合いだ
    これは基本的にソフトウェア工学と数学に対応する
    AI誇張のかなりの部分は、AI設計者自身の仕事がAIで最も自動化しやすい職業であることから来ていると思う
    「自分の仕事がAIでこれだけ向上するなら、あらゆる職業も同じだろう」と考えるが、皮肉なことに現実はほぼその逆で、広範な労働消滅予測も同様だ

    • 興味深い視点だが、そのうち2つはやや誇張されている気がする
      大半のソフトウェアは、数学の問題や数学問題の束を解くこととは違うと思う
      アルゴリズム問題は、答えが正しいか間違っているかを検証するオラクルがあらかじめある狭い領域なので、こちらに近いかもしれない
      大半のソフトウェアでは正確性関数は、ユーザーがどれだけ使いたいか、どれだけお金を払いたいかであり、これはかなり曖昧な問題だ
      ソフトウェアは複製コストが事実上ゼロなので、システム同士がまったく同じになるというより固有化し、他のシステムへ収束するより分岐する傾向もある
      先行研究の部分も興味深い
      少なくともアプリケーション全体で見れば、意味のある規模の非自明なソフトウェアが含む問題やトレードオフの大半には、実際には先行研究がない
      ToDoリストアプリやソーシャルネットワークを作るプロジェクトなら、大規模言語モデルシステムが作るのに十分な先行事例が多数あるだろうが、ほとんどのアプリはそうではない可能性が高い
    • AIがソフトウェアと数学にしか長けていないと仮定しよう
      AIで良いソフトウェアを安く大量に作れるなら、そのソフトウェアが多くの仕事を自動化できる
      だからAIが仕事を直接奪う必要はなく、AIが書いたソフトウェアが奪いうる
      とくにロボット向けソフトウェアでもそれが可能になれば、なおさらだ
    • ここでいう「現実はほぼその逆で、広範な労働消滅予測も同様だ」というのは、どういう意味か説明してもらえる?
      検証可能な作業というひとまとまり、つまりプログラミングや数学などは、AIが明らかに得意になりそうだ
      法務、会計、財務分析のような別の大きなまとまりでも、AIが超人的な水準に到達できない理由は分からず、ただドメイン専門性をハーネスやソフトウェアへ取り込む作業がさらに必要に見える
      長期的に見て、AIが得意になれない知識労働の側面があると考えているのか?
    • 多くのホワイトカラー職は検証可能だ
      ロボットを作れば、現実世界の作業も突然検証可能になる
    • Dwarkeshによれば、訓練における反復可能性も重要だ
  • 単位距離問題とは異なり、ここで印象的なのは反例ではなく証明だという点。
    ただし証明が極端に簡潔で、すべての専門家が見落としていた巧妙なトリックを使っているように見える。
    この驚くべき結果を貶めたりゴールポストを動かしたりしたいわけではないが、いまやAIが数学でまだ成し遂げていない唯一の成果は、未解決予想に対する自律的な「理論構築型」の証明のように見える。
    つまり未解決問題を破るために、少なくとも30ページ以上に展開されるような実質的に新しい理論を作らなければならない証明だ。

    • 本当に簡潔で、言う通り、既に発見されていた性質を活用して新しいやり方で組み合わせたように読める。
      文体がとても気に入った。
      昔の論文のようで、定理と証明がまさに述べた通りにそのまま展開していく、ああいう論文だ。
    • Grant Sandersonが最近のDwarkeshポッドキャストで、文法を作る数学者とそれを操作する数学者を区別していた。
      場合によってはオントロジーという言葉を使うのかもしれないが、この区別はかなり気に入った。
      私たちは今、文法操作の段階にいるように思う。
      有用なオントロジーを作るのは、まだ少し先に見える。
      この素晴らしい結果に文句を言いたいわけではなく、今後ゴールポストがどこに置かれるのかを考えてみているだけだ。
    • 「しかし」と言う理由はあるのだろうか?
      私の解釈では、本当に新しい解法を見つけていて、それがエレガントでありながらこれまで見落とされていた解法なのだ。
      人間の数学者が切望するような結果とは、まさにこういうものだと思う。
    • 冗談半分でChatGPT 5.5にこの問題の重要性と、5.6が3ページの解法で解ける可能性を聞いてみたら、ほぼゼロだと答えた。
      インターネット検索もさせてみたが、それでも極度に懐疑的だった。
    • 毎回並列セッションを回していたのか気になる。
      片方は証明を試み、もう片方は反例を探す、といった具合に。
  • 発表: https://x.com/eknight/status/2075643450196971805
    プロンプト: https://cdn.openai.com/pdf/04d1d1e4-bc75-476a-97cf-49055cd98...

    • 「返すか諦めることを考える前に、少なくとも8時間使え」
      現在のモデルハーネスには経過時間の概念があるのだろうか?
      サブプロセスが長くかかりすぎたり停止したりすると、モデルが気づいて止めるのはたまに見たことがあるが、自分で時間を計っているのは見たことがない。
    • 「1時間弱かかる」
      それでも生存者バイアスがどの程度あるのか気になる。
      失敗した別の問題はどれほど多かったのか?
      この問題も別のプロンプトで解こうとして失敗したことがあるのか?
      それでも非常に印象的だ。
  • プロンプトが公開されたのは本当に素晴らしい。
    新しいフロンティアモデルが出るたびに、どれほど多くの未解決問題が試されているのか気になる。
    すべてのリリースごとにすべての問題を試しているのだろうか?
    解決成功率はどの程度なのだろう?
    数学の中にこうした取り組みを調整するサブコミュニティはあるのだろうか?
    まだ掘り起こされていない機会はどれほど残っているのだろう?

    • 全出力が公開されていない点は少し興味深い。
      数学の文章へのよくある批判の一つは、結果が「帽子から取り出したように」見えることだ。
      洗練された最終証明だけを書き、それを発展させるために費やされたすべてを隠してしまう。
      大規模言語モデルが証明を書いたときにも、その慣行が続いているのは皮肉だ。
    • プロンプトは公開されたが、結果を得るのにかかったコストは公開されていない。
    • すでにリーマン予想には推論コストとして数百万ドルが投入されていると、ほぼ確信している。
      モデルが強くなるほど、さらに大きな金額が投じられるだろう。
      「たった10億ドル」で、歴史上最も難しく有名な数学の未解決問題を解いた会社として名を残すことを想像してみてほしい。
      世界中のメディアの見出しも想像できる。
      よく言われるように、リーマン予想は100万ドルを稼ぐ最も難しい方法だ。
  • すべての検証が通れば、これは巨大なマイルストーンだ。
    AIが今や既成モデルを使って、1時間でグラフ理論で最も有名な未解決問題の一つを解いたことになる。
    この時点では、ほとんどの人間より優れた数学者なのかもしれない。
    チェスソフトがグランドマスターを除く全員に勝ち始めた頃に似ている。
    では、次に何が残るのか?
    まったく新しい理論や枠組みを提案し、構築することか?
    その次は、どんな人間よりも優れることか?
    その次は、私たちには理解しにくい異星的な数学の結果なのか?

    • 虚無感を覚えずにはいられない。
      私は知能の面でごく平均的、ひょっとすると平均以下の人間だ。
      自分にできることは何であれ、大規模言語モデルのほうがうまくできると知っているなら、自分の価値や存在理由は何なのだろうか?
      労働市場でも、人間としても、私の価値は何なのだろう?
    • 残るのは、人間が新しい予想を提案し、機械が証明を埋めることになりそうだ。
      ただ、新しいキャリアになるほど面白い予想が十分にあるのかはわからない。
    • そうしたものを次のごく近い段階のように語っているが、実際にはそうは進まないかもしれない。
      たとえばAIはこの数年、芸術や文章執筆で専門家を超えることについては何の進展も見せていない。
      プロンプトに従う能力ははるかに良くなり、手や文字も今では描けるようになったが、芸術的センスは完全に停滞している。
  • こういう発表を見ると気持ちが揺れる。
    一方では、AIプロンプトが長年の問題を解くとき、私たちが発見できるものには無限の可能性がある。
    他方では、人が格闘したり新しい洞察で解いたりしたわけではないという点で、美学的な何かが失われる。
    AIプロンプトがデータセンターで2週間回ってからp=npを出力したら、少し空虚に感じるだろう。

    • どの世代も、こうした感覚の何らかのバージョンを感じてきた。
      「キーボードには魂がない。手書きは指紋のように個人的で固有だ。」 — Joyce Carol Oatesのタイプライターについての言葉。
      「あなたのこの発見は、学ぶ者たちの魂に忘却をもたらすだろう。彼らは記憶を使わず、外部の文字に頼って自分で思い出さなくなるからだ。あなたが発見したのは記憶を助ける薬ではなく、想起を助ける薬であり、弟子たちに真理ではなく真理の見かけだけを与えるものだ。」 — Socratesの書記についての言葉。
    • その感覚には共感するが、逆にその出力を読む人間たちはかなり大きなインスピレーションの boostを受けるだろう。
      新しい答えはふつう新しい問いを生む
  • ChatGPT 5.6 Sol Proはこの証明が妥当だと見ている
    普段から証明が正しいか、どこが間違っているかの判断に非常に優れていて、トップクラスの数学研究者である友人も確認してくれた: https://chatgpt.com/share/6a515ead-b464-83ed-b85c-c8674f56ea...
    個人的には、これが本物だという確信がさらに強まった

    • そりゃその証明が妥当だと信じるだろう、自分で書いたんだから
      大規模言語モデルの出力を検証するには、別の大規模言語モデルを使うべきだ
  • 「GPT-5.6 Sol Ultraが巡回二重被覆予想の証明を生成」
    とても誤解を招く記事タイトルだ
    タイトルは「名前のない人間たちがGPT-5.6を使ってCDC予想に関する未検証の証明を生成」であるべきだ
    もっとも、AI業界から出てくるものは宣伝文句だろうとは予想している

  • 証明がこれほど簡潔なのは良い点だ
    組合せ論の未解決問題をいくつか前進させたことがあるが、境界を一段階広げる証明が45ページもあった

    • 高校生のときに数学研究をしていたが、証明は醜い多項式不等式の何十もの場合分けに帰着した
      今はそのPDFを見つけられないが、最終論文はだいたい70ページで、そのうち何ページかは展開された多項式表現が1ページを埋め尽くしていた
      実際の散文はおそらく5ページほどだった
      私が見たどんな証明よりも、明らかに最も優雅でない証明だった
      早いうちに研究を経験し、足を踏み入れる機会を得られたことには本当に感謝しているが、その論文を振り返ると気恥ずかしくなる