ジョン・ホップフィールドとジェフリー・ヒントンに授与されたノーベル物理学賞 [pdf] (nobelprize.org) 1 ポイント 投稿者 GN⁺ 2024-10-09 | 1件のコメント | WhatsAppで共有 関連記事 2024年ノーベル物理学賞は、AIの基盤を築いたジョン・J・ホップフィールド氏とジェフリー・E・ヒントン氏が受賞 9 ポイント · 4件のコメント · 2024-10-08 1件のコメント GN⁺ 2024-10-09 Hacker Newsの意見 根拠は https://www.nobelprize.org/uploads/2024/09/advanced-physicsp... にある Hopfieldネットワークと Boltzmann machine に対する賞のように見えるが、後者で大きな役割を果たしたTerry Sejnowskiが外れているのは意外だ 根拠文書に名前が出ているので、おそらく検討はされたのだろうが、ノーベル賞の歴史では影響力を測りにくいことで生じる 惜しい漏れ の一つかもしれない これが広く受け入れられている ニューラルネットワーク史 なのか気になる。RosenblattやPerceptronは知っているが、HopfieldネットワークやBoltzmann machineが歴史上それほど大きな比重を占めていたという話は聞いたことがない 私が読んだ説明はどれも数学的で、魔法のようなバックプロパゲーションを含む計算グラフに焦点を当てていた。正直、バックプロパゲーションは中間計算をメモ化することに近いと思っている。そうした説明では「シナプス」のような表現を避け、「ユニット」のような用語を使うべきだとも強調していた Turing Awardに続いて、Terry Sejnowski が外れたのはこれで二度目ということになる こうした分野が意味のある形で区別できるかどうかは好みの問題だ。最近は、相互につながっているが自律的ないくつもの領域があると想像するのが流行しているだけだ John Hopfieldの素晴らしいキャリア回顧: https://pni.princeton.edu/sites/g/files/toruqf321/files/docu... 「Academy会員として、私はそのような論文を査読なしで出版できた。今はもうそうではないが、これは科学出版と独創性の奨励のある側面に対する悲しい批評である」 National Academy会員は今でも、通常投稿ではなくそのルートを選べば 査読者を自分で選ぶことができ、査読は匿名ではない 査読内容自体は公開されないが、論文が出た後に査読者の身元は公開される。だから会員がどんなデタラメでも言えるわけではないが、それでも非常に異例の手続きだ これはRoyal Academy of Sciencesが 物理学研究が停滞している ことを認めるやり方のように見える 弦理論はほぼ半世紀にわたって理論高エネルギー物理学を窒息させてきたが、示せたものはなく、基礎物理学の他の多くの領域もある程度終わったように見える それは非常に不正確だと思う。むしろ 機械学習/AIバブル というホットな話題に乗ろうとしている感じに近い 物理学という学問全体はまったく停滞していない。基礎物理学は、競合する理論を区別する実験をどう作ればよいのか誰も見当がついていないため、停滞していると見る余地はある。それでも近年のJonathan Oppenheimと共同研究者たちの仕事のような興味深い進展はある さらに「物理学」は「基礎物理学」と同じではない。相関電子系、凝縮系、銀河や宇宙論に至る 複雑系物理学 は、死んでいるどころか非常に活発だ まったくそうではない。物理学は高エネルギーと宇宙論だけではないし、より小さな範囲でもノーベル賞に値する貢献は不足していない。ディープラーニング が最有力候補になったというのは本当に奇妙だ 高エネルギーまたは基礎物理学では、現在作れないエネルギー準位や極限状態に到達できない限り、私たちができることの限界に達しているのかもしれないと感じる 私が読んだ限りでは、専門の物理学者ではないが、弦理論はブラックホールを直接調査するか、少なくとも月軌道ほどの大きさの粒子加速器を作れなければ検証不可能だ。他の多くの提案理論も同様だ 仮説上の 第9惑星 が太陽系に捕獲された原始ブラックホールかもしれないという推測もある。彗星やカイパーベルト/TNO天体の軌道に基づき、遠い外太陽系に地球質量の1〜5倍の惑星があると予測されているが、その質量のブラックホールはビー玉からゴルフボール程度の大きさでありながら、地球半径の距離では1〜5gの重力を持つはずだ そのような天体が実在するなら、宇宙探査機が到達可能な範囲内にあるのでブラックホールを調査でき、停滞を打開する手がかりになり得る それが不可能なら、超伝導、凝縮系物理学、プラズマ/核融合のように、到達可能で実用的な波及効果の大きい他の物理学分野に集中したほうがよいのかもしれない Max Planckも教授から「ほとんどすべてはすでに発見されている」として物理学をやめるよう言われた。Planckは、何かを発見したいのではなく 基礎を学びたい のだと答えた 次のブレークスルーが、現在の数学/物理学の思考では直接到達しにくいほど複雑だとしたらどうだろう 着実な進歩を期待する理由はなさそうだ。たとえば リーマン予想 を証明するのにどれだけかかるかは誰にも分からない これは本当に切迫感の匂いがする。そしてそれが本当に悲しい 本物の物理学 の発展は、必須である持続可能性への移行の核心だ。自己保存を重視するまともな社会なら、基礎から応用までの物理学研究全般の必要性を正当化するために、二次的な藁にもすがる必要はないはずだ 私たちの集団幻覚という言葉遊びも含め、私たちが長期的利益に従って行動する能力そのものを弱める何らかの臨界点に達したのか、真剣に考えるべきだ。付け加えると、受賞者たちの価値そのものを貶める意図はない あまりにも長い間、最も賢い人々の一部がFarmVilleやAngry Birdsの開発に人生を捧げてきたという点には完全に同意する https://en.wikipedia.org/wiki/Perverse_incentive Hopfieldが複数の分野で ノーベル賞級の貢献 をしている点は本当に驚くべきことだ 動力学的校正（生化学/生物物理学）、Hopfieldネットワーク（機械学習）、長距離電子移動（物理学）など、さらに多くがある。ついに受賞することになったのは喜ばしい知らせだ 理論物理学の博士で、この4年間ディープラーニングに取り組んできた立場から見ると、この賞は物理学賞としてはまったく筋が通らない ノーベル賞委員会の公式発表をそのまま見ても、ニューラルネットワークを物理学と結びつけようとする試みはかなり無理やりに読める。実際に物理学へ与えた影響は何なのか、HintonとHopfieldの最も重要な仕事は本当に物理学から影響を受けたものなのか、と問い始めると、その論理はもはや持ちこたえにくい AI研究に賞を与えることが、物理学が停滞しているから意味がある、という話も間違っている。弦理論は高エネルギー理論物理学の一部にすぎず、「AIの冬」のような瞬間を経験していると言えるかもしれないが、他の多くの物理学分野は急速に発展し、興味深い成果を出している ノーベル賞はかなり遅れて授与されることが多いので、1980年代の大きな影響力を持つ仕事の中にも、まだ受賞していないものは多い。原子間力顕微鏡がよい例だ ある下位分野の最近の成果だけを見て「この分野には価値あるものがなかった」と言うのも誤りだ。たとえば弦理論を完全な虚構だと見なすとしても、共形場理論の創始のような理論物理学上の重要な成果があり、ノーベル賞で認められたことはない。他の重要な物理学の仕事に賞が行くなら構わないが、今日の発表を見るとかなり奇妙に感じる 物理学に残った友人の冗談で締めるなら、「委員会はアカデミアを去った物理学者を全員見渡して、彼らがやっていることは何であれ受賞対象だと決めたらしい。そのうち暗号資産や高頻度取引で賞を出すかもしれない」 物理学が完全に停滞しているわけではないとしても、ある程度の自己省察は必要ではないだろうか 新しい理論を作ることが重要でやりがいがあるのは理解するが、この30年間の物理学の大半は二つの流れのように見える。一つは粒子を衝突させてデータを解析すること、もう一つは反証不可能な数学的モデルだ より優れたチップやロケット推進などを可能にする次の「新しい物理学」の発見が出れば、mRNAのようにかなり早くノーベル賞を受ける可能性が高いと思う Hopfieldネットワークは生物学よりも物理学にはるかに近い。それでも、共形場理論の研究者たちはHopfieldやHintonより先に認められるべきだった、という点には同意する Jim Simonsも受賞に値したと思う。個人的にはChern-Simons理論よりも、RenTecでの仕事のために、なおさらそう思う Hopfieldの論文はProc. Natl. Acad. Sci.の生物物理学セクションに掲載され、その後Phys Review Aなどにスピングラスの論文が大量に出た。だから物理学とのつながりはある程度ある Hintonがカリフォルニアのどこかの小さなホテルの部屋で知らせを聞き、かなり動揺した様子で受けた生放送ラジオインタビューをたった今聞いた 司会者は喜んでいたが、何で賞を受けたのかに踏み込むと、HintonがAIへの懸念を語り始め、インタビューは長く続かなかった。受賞スピーチはかなり興味深いものになるかもしれない 権力に対して多くの真実を語ってくれることを願う こだわりがHintonを飲み込んでいるのかもしれない。あるいはOppenheimer的な罪悪感かもしれない 来年はExcelの開発者たちが賞を受けるだろう。数学的宇宙の実装だから それなら前身のLotus 123には賛成できる。人工ニューラルネットワークが物理学賞に値するなら、これも値する ある意味では、物理学界を代表してAI研究者に賞を与えるのは理にかなっている。AIのおかげで職を得た物理学博士をたくさん知っているし、今はデータサイエンティストとして働いているから 冗談はさておき、私の理解では、物理学は私たちが知る境界で実験するのが難しいため、少し行き詰まっている。だとすれば、物理学に有用な道具を作った人たちに賞を与えるのも、ある程度は筋が通る 「私たちが知る境界で実験するのが難しい」というのは、主に基礎物理学に当てはまる 材料、核融合、生物物理学、大気物理学など応用物理学の多くの領域では、主な制約は複合系を理解することにある。こうした分野は社会的にも非常に重要だ リンク先のプレスリリースよりも、「Advanced information」PDFのほうが受賞理由を説明しようとする試みとしては少しよくできている https://www.nobelprize.org/uploads/2024/09/advanced-physicsp... そのリンクの10ページによると、Higgs bosonのような素粒子は高エネルギー衝突後のごく短い時間だけ存在し、大型電子検出器の飛跡情報とエネルギー沈着からその存在を推論しなければならない 予想される検出器信号は非常にまれで、より一般的なバックグラウンド過程がそれを模倣できるため、粒子崩壊を識別し解析効率を高めるために人工ニューラルネットワークを訓練し、高速で生成される大量の検出器データから特定のパターンを拾い出させたという こうした文を追加の限定なしに読むと不安になる。LIGOの最初の重力波検出でも似た表現を見つけられる。「私たちは結論を前提に反復学習した何かを作った」のように聞こえてはならない理由を正当化してほしい 社会的信頼という点では、そのような重大な発見が報告どおりであると信じる理由は十分にある。それでも観測自体が定義上新しく、以前に検出されたことがないため、シミュレーション以外には事前のテストセット基準線がない場合に、観測の妥当性を保証する統計的根拠がどのようなものなのか見てみたい。私が正しく理解できていない可能性が高いとしても、そう思う 興味深い。この文章ではLeCun、Bengio、Schmidhuber、Hochreiterなども一緒に言及されている
1件のコメント
Hacker Newsの意見
根拠は https://www.nobelprize.org/uploads/2024/09/advanced-physicsp... にある
Hopfieldネットワークと Boltzmann machine に対する賞のように見えるが、後者で大きな役割を果たしたTerry Sejnowskiが外れているのは意外だ
私が読んだ説明はどれも数学的で、魔法のようなバックプロパゲーションを含む計算グラフに焦点を当てていた。正直、バックプロパゲーションは中間計算をメモ化することに近いと思っている。そうした説明では「シナプス」のような表現を避け、「ユニット」のような用語を使うべきだとも強調していた
John Hopfieldの素晴らしいキャリア回顧: https://pni.princeton.edu/sites/g/files/toruqf321/files/docu...
「Academy会員として、私はそのような論文を査読なしで出版できた。今はもうそうではないが、これは科学出版と独創性の奨励のある側面に対する悲しい批評である」
査読内容自体は公開されないが、論文が出た後に査読者の身元は公開される。だから会員がどんなデタラメでも言えるわけではないが、それでも非常に異例の手続きだ
これはRoyal Academy of Sciencesが 物理学研究が停滞している ことを認めるやり方のように見える
弦理論はほぼ半世紀にわたって理論高エネルギー物理学を窒息させてきたが、示せたものはなく、基礎物理学の他の多くの領域もある程度終わったように見える
物理学という学問全体はまったく停滞していない。基礎物理学は、競合する理論を区別する実験をどう作ればよいのか誰も見当がついていないため、停滞していると見る余地はある。それでも近年のJonathan Oppenheimと共同研究者たちの仕事のような興味深い進展はある
さらに「物理学」は「基礎物理学」と同じではない。相関電子系、凝縮系、銀河や宇宙論に至る 複雑系物理学 は、死んでいるどころか非常に活発だ
私が読んだ限りでは、専門の物理学者ではないが、弦理論はブラックホールを直接調査するか、少なくとも月軌道ほどの大きさの粒子加速器を作れなければ検証不可能だ。他の多くの提案理論も同様だ
仮説上の 第9惑星 が太陽系に捕獲された原始ブラックホールかもしれないという推測もある。彗星やカイパーベルト/TNO天体の軌道に基づき、遠い外太陽系に地球質量の1〜5倍の惑星があると予測されているが、その質量のブラックホールはビー玉からゴルフボール程度の大きさでありながら、地球半径の距離では1〜5gの重力を持つはずだ
そのような天体が実在するなら、宇宙探査機が到達可能な範囲内にあるのでブラックホールを調査でき、停滞を打開する手がかりになり得る
それが不可能なら、超伝導、凝縮系物理学、プラズマ/核融合のように、到達可能で実用的な波及効果の大きい他の物理学分野に集中したほうがよいのかもしれない
着実な進歩を期待する理由はなさそうだ。たとえば リーマン予想 を証明するのにどれだけかかるかは誰にも分からない
これは本当に切迫感の匂いがする。そしてそれが本当に悲しい
本物の物理学 の発展は、必須である持続可能性への移行の核心だ。自己保存を重視するまともな社会なら、基礎から応用までの物理学研究全般の必要性を正当化するために、二次的な藁にもすがる必要はないはずだ
私たちの集団幻覚という言葉遊びも含め、私たちが長期的利益に従って行動する能力そのものを弱める何らかの臨界点に達したのか、真剣に考えるべきだ。付け加えると、受賞者たちの価値そのものを貶める意図はない
https://en.wikipedia.org/wiki/Perverse_incentive
Hopfieldが複数の分野で ノーベル賞級の貢献 をしている点は本当に驚くべきことだ
動力学的校正（生化学/生物物理学）、Hopfieldネットワーク（機械学習）、長距離電子移動（物理学）など、さらに多くがある。ついに受賞することになったのは喜ばしい知らせだ
理論物理学の博士で、この4年間ディープラーニングに取り組んできた立場から見ると、この賞は物理学賞としてはまったく筋が通らない
ノーベル賞委員会の公式発表をそのまま見ても、ニューラルネットワークを物理学と結びつけようとする試みはかなり無理やりに読める。実際に物理学へ与えた影響は何なのか、HintonとHopfieldの最も重要な仕事は本当に物理学から影響を受けたものなのか、と問い始めると、その論理はもはや持ちこたえにくい
AI研究に賞を与えることが、物理学が停滞しているから意味がある、という話も間違っている。弦理論は高エネルギー理論物理学の一部にすぎず、「AIの冬」のような瞬間を経験していると言えるかもしれないが、他の多くの物理学分野は急速に発展し、興味深い成果を出している
ノーベル賞はかなり遅れて授与されることが多いので、1980年代の大きな影響力を持つ仕事の中にも、まだ受賞していないものは多い。原子間力顕微鏡がよい例だ
ある下位分野の最近の成果だけを見て「この分野には価値あるものがなかった」と言うのも誤りだ。たとえば弦理論を完全な虚構だと見なすとしても、共形場理論の創始のような理論物理学上の重要な成果があり、ノーベル賞で認められたことはない。他の重要な物理学の仕事に賞が行くなら構わないが、今日の発表を見るとかなり奇妙に感じる
物理学に残った友人の冗談で締めるなら、「委員会はアカデミアを去った物理学者を全員見渡して、彼らがやっていることは何であれ受賞対象だと決めたらしい。そのうち暗号資産や高頻度取引で賞を出すかもしれない」
新しい理論を作ることが重要でやりがいがあるのは理解するが、この30年間の物理学の大半は二つの流れのように見える。一つは粒子を衝突させてデータを解析すること、もう一つは反証不可能な数学的モデルだ
より優れたチップやロケット推進などを可能にする次の「新しい物理学」の発見が出れば、mRNAのようにかなり早くノーベル賞を受ける可能性が高いと思う
Jim Simonsも受賞に値したと思う。個人的にはChern-Simons理論よりも、RenTecでの仕事のために、なおさらそう思う
Hintonがカリフォルニアのどこかの小さなホテルの部屋で知らせを聞き、かなり動揺した様子で受けた生放送ラジオインタビューをたった今聞いた
司会者は喜んでいたが、何で賞を受けたのかに踏み込むと、HintonがAIへの懸念を語り始め、インタビューは長く続かなかった。受賞スピーチはかなり興味深いものになるかもしれない
来年はExcelの開発者たちが賞を受けるだろう。数学的宇宙の実装だから
ある意味では、物理学界を代表してAI研究者に賞を与えるのは理にかなっている。AIのおかげで職を得た物理学博士をたくさん知っているし、今はデータサイエンティストとして働いているから
冗談はさておき、私の理解では、物理学は私たちが知る境界で実験するのが難しいため、少し行き詰まっている。だとすれば、物理学に有用な道具を作った人たちに賞を与えるのも、ある程度は筋が通る
材料、核融合、生物物理学、大気物理学など応用物理学の多くの領域では、主な制約は複合系を理解することにある。こうした分野は社会的にも非常に重要だ
リンク先のプレスリリースよりも、「Advanced information」PDFのほうが受賞理由を説明しようとする試みとしては少しよくできている
https://www.nobelprize.org/uploads/2024/09/advanced-physicsp...
予想される検出器信号は非常にまれで、より一般的なバックグラウンド過程がそれを模倣できるため、粒子崩壊を識別し解析効率を高めるために人工ニューラルネットワークを訓練し、高速で生成される大量の検出器データから特定のパターンを拾い出させたという
こうした文を追加の限定なしに読むと不安になる。LIGOの最初の重力波検出でも似た表現を見つけられる。「私たちは結論を前提に反復学習した何かを作った」のように聞こえてはならない理由を正当化してほしい
社会的信頼という点では、そのような重大な発見が報告どおりであると信じる理由は十分にある。それでも観測自体が定義上新しく、以前に検出されたことがないため、シミュレーション以外には事前のテストセット基準線がない場合に、観測の妥当性を保証する統計的根拠がどのようなものなのか見てみたい。私が正しく理解できていない可能性が高いとしても、そう思う