4つの非ゼロパラメータでゾウを当てはめる

 (arxiv.org)
1 ポイント 投稿者 GN⁺ 2024-07-15 | 1件のコメント | WhatsAppで共有
  • 1953年、Enrico Fermi が Johnny von Neumann の言葉を引いて Freeman Dyson のモデルを批判した逸話から、「4つのパラメータでゾウを当てはめる」という問題が出発した
  • この引用は、パラメータが増えるほどモデルがデータによく適合して見えても、物理的意味まで保証されるわけではないという批判として使われてきた
  • 従来の試みは条件を完全には満たしていなかった: Wei は20個を超えるパラメータを使い、Mayer et al. は4つの複素数に見えても実際には 8個のパラメータ に相当した
  • Paintadosi の1パラメータ方式はどんな形でも描けるが、形状を非常に長い実数精度でエンコードする方式であり、この問題の趣旨には合わない
  • 問題自体が十分に定義されていなかったという限界を指摘し、与えられた条件のもとで 4つの非ゼロパラメータ だけでゾウの曲線を当てはめようとする試みである

Fermi の批判から始まった問題

  • 1953年、Enrico Fermi は Dyson のモデルを批判しながら Johnny von Neumann の言葉を引用した
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • この言葉は、モデルが複雑でデータによく適合していても、それが単に パラメータ数 を増やした結果なら、実際の物理的意味を保証しにくいことを示すものとして使われてきた
  • 核心の問いは、実際に 4つのパラメータ だけでゾウを当てはめられるのかという点にある

既存の解法が要件を外していた点

  • Wei は フーリエ級数(Fourier series) でゾウを当てはめようとしたが、十分によい結果を得るには20個を超えるパラメータが必要だった
    • その結果も「小学3年生の美術教師」を満足させられないかもしれないと評されている
  • Mayer et al. は4つの 複素数 でゾウを当てはめた
    • 複素数は実部と虚部を持つため、実際には8個のパラメータを使ったことになる
    • 0のパラメータまで数えれば20個になる
    • 生成された画像は Picasso のようなスタイルで美しいと評されている
  • Paintadosi は1つのパラメータで十分だと主張し、1パラメータでどんな形でも描ける関数を構成した
    • しかしこれは、形状を数百桁あるいは数千桁精度の1つの実数に写像する エンコーディング に近く、この問題では有効な解法とは見なしにくい
    • その研究の焦点は、パラメータ数を数えること がモデル複雑性の尺度として失敗しうる点にある
  • この論文はまず問題の条件を整理したうえで、従来の試みとは異なり 4つの非ゼロパラメータ でゾウを当てはめる方法を提示する

関連記事

1件のコメント

 
GN⁺ 2024-07-15
Hacker News のコメント

  • この記事の皮肉な側面が気に入った。Fermi と von Neumann がなぜそう言ったのかも補足されているとよかった。
    物理学で現実のモデルを作るとき、実験と合わないからといってパラメータを一つずつ追加してデータに合わせてはいけない。理想的にはパラメータは 0 個、または最小限であるべきで、さらに言えば、単純な仮定から自然にパラメータが出てくるべきだ。パラメータが 4 個あると、実際に現実の側面を捉えているのか、単に実験データに合わせているだけなのか分かりにくい。

    • 論文の最初の段落にすでに出ている内容で、論文自体も概してユーモラスな文章だ。
      ただし、その格言の知恵は多くの分野でかなり忘れられているように思う。多くの分野では、データが数十個のパラメータを持つ巨大な回帰モデルや、数十億パラメータのニューラルネットワークで「モデル化」されている。

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • パラメータ 0 個のモデルは第一原理から導けるので、数学により近いように思う。たとえばユークリッド空間を仮定すれば、球の表面積のような式が出てくる。
      物理学は、実際の空間の曲率や重力加速度のように、測定しなければならない自然定数が少なくとも一つあるところから始まるのだと思う。
    • Hodgkin と Huxley はイカの巨大軸索を研究し、神経活動をモデル化する画期的な仕事をした。
      記録された電位と注入電流に対する曲線当てはめから複数のパラメータを取り出し、ずっと後になってそれらがナトリウムチャネルに対応することが分かった。同様に、別の過程はカリウムチャネルに対応した。パラメータが複数、たとえ 4 個あっても、3 個ではモデルを説明できないなら、あまり心配することではないと思う。
    • 実際に最初に実装した例は James Wei の Least square fitting of an elephant（1975、Chemtech）だった。

  • この記事はユーモラスでよく書けているが、それ以上のものだと思う。
    ML/AI はただの曲線当てはめだ、という冗談まじりの観察はよくされる。「ただの曲線当てはめ」だけで知的な何かが生まれるのかは、まだ答えが出ていないと思うし、それは「知的」という言葉の意味が人によって大きく違うからでもある。
    ここでは非常にすっきりして理解しやすい曲線当てはめを示しているが、本質的には同じプロセスだ。目標を定め、損失関数上で最適化し、一般化することを期待する。もちろんこのゾウは一般化しないが、かわいくはある。
    だから von Neumann が投げかけた問い、なぜそれほど多くのパラメータが必要なのか、に戻ることになる。皮肉なことに、最近では膨大な数のパラメータで多くのことを成し遂げており、答えは「パラメータが多ければすごいことができる」というものになったわけだ。

    • 現実世界に対する継続的な曲線当てはめは知能を作り得る。欠けているのはモデル内部の何かではなく、探索し、検索し、経験を広げるメカニズムだ。
      現在の LLM は人間の経験に乗っているだけで、自分自身の経験を作ることにはほとんど関与していない。だから模倣学習やオウム返しと呼ばれるのだ。しかしモデルがよりエージェントらしくなれば、自ら有用な経験を作れるようになり、AlphaZero がそれを示している。
    • AI ではパラメータが多いほどよく、物理学ではその逆だ。
    • 細部が重要だ。強化学習では目標が動き、ディープラーニングでは過剰な最適化を防ぐために早期終了のような手法をよく使う。

  • Freeman Dyson は、この論文に着想を与えた逸話を Web of Life のインタビューで回想している。ゾウの当てはめ部分に直接飛ぶリンクもある。
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • パラメータは一つで十分: https://aip.scitation.org/doi/10.1063/1.5031956

    • ファイルの中ではなくファイル名にデータを保存すれば無制限の圧縮を実現できる、という話に似ている。
    • 論文ではこう述べている。

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • パラメータ数は誤った尺度だ。パラメータ値に含まれる情報量、エントロピー、コルモゴロフ複雑性のようなものを見るべきだ。
    • ハードディスク全体が一つの数だと言うのに似ている。

  • 残念ながら論文には定数項、つまり平均の r_0 が明示されていない。おおよそ 180 付近に見えるが、画像を作るにはこの値を合わせる必要があり、これを 5 つ目の必須パラメータと見なさない方法はなさそうだ。
    そのため、目標を本当に達成したとは言いにくい。もちろん本当に面白かった。

    • 本文では、その値は当てはめようとするデータ点の平均値だと述べている。これをパラメータとして数えるかどうかは、標準化をモデルの一部と見なすかどうかに依存するようだ。

  • Dyson の Web of Stories インタビューに出てきた見事なくだりで、著者たちと同じく私にも響いた。
    Dyson がパイオンの擬スカラー理論に関する予備的な結果を Fermi に持っていったときの話。Fermi は非常に素早く全体を退け、Dyson にはショックだったが、それ以上時間を無駄にせずに済ませてくれた。
    Fermi: 理論計算をするときは、明確な物理モデルがあるか、厳密な数学的基盤がなければなりません。あなたにはそのどちらもありません。フィッティングに自由パラメータをいくつ使いましたか？
    Dyson: 4つです。
    Fermi: Johnny von Neumann はいつもこう言っていました。「パラメータが4つあれば象をフィットでき、5つあれば鼻を振らせることもできる」

  • arXiv にもっとユーモアがあればいいのに。
    会社のリソースを使わず、個人の時間で発見をしたなら、可能な限り最もユーモラスな形で発表するつもり。

  • Dr. Octave Levenspiel も外せない。私が学部生だった頃、彼は名誉教授で、産業用流動層の分野を含め多くの仕事をしていた。
    象の曲線の議論は当時、不均一触媒反応における複雑な多パラメータ・フィッティングを批判する文脈だった。 https://levenspiel.com/elephants/
    彼は一時期、恐竜の飛行に関する空気力学の論文を出版しようともしていた。 http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    こうした知的好奇心は、Feynman の皿回しを少し思い出させる。

  • D’Arcy Thompson の On Growth and Form はなぜ言及されていないのか？ 生物に対する彼のパラメータモデルはかなり見事だった。非常に単純ではあったが。
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • 私の理解では、実数パラメータのフーリエ級数 r(theta) = sum(r_k cos(k theta)) は、原点から出る各放射線ごとに点が1つだけある「波打つ円」の形しか描けない。
    複素数パラメータ z(theta) = sum(e^(z_ theta)) は、もっとくねくねした図形、つまり周転円を描ける。描画する腕が回転しているあいだにペンが戻ることができ、各パラメータは前のパラメータから計算された点の周りの小さな円上のどこかへ点を動かせる。
    必見の 3B1B 動画: https://m.youtube.com/watch?v=r6sGWTCMz2k
    複素数パラメータ1つは実数パラメータ2つに相当するので、最良の4つのコサイン曲線と最良の2つの複素指数曲線を比較すべきだ。