エントロピーとは何か？
(johncarlosbaez.wordpress.com)- エントロピーを原理的には知りうるが、まだ知られていない情報の量として定量化しようとする短い本の草稿
- 室温・常圧の水素気体が、分子あたり約23ビットの未知の情報に相当するエントロピーを持つ理由を中心的なパズルとして扱う
- ShannonエントロピーとGibbsエントロピーから出発し、最大エントロピー原理、Boltzmann分布、温度、分配関数、自由エネルギーまでつなげていく
- 熱力学第2法則、生物学、ブラックホール物理学は意図的に深く扱わず、エントロピーを無秩序として説明しない
- 古典系のエントロピーを計算しようとしても、位置・運動量空間の体積単位のためにPlanck定数と多少の量子力学が必要になる
本の形と出発点
- What is Entropy? は、エントロピーを扱う短い本の現在の草稿
- もともとの代替タイトルは92 Tweets on Entropyだったが、時間がたつと「tweets」が何かを覚えていないかもしれないという理由で適切でないと判断された
- Twitterで短いメッセージ形式で行ったエントロピー講義を少し拡張した版
エントロピーを情報として見る定義
- エントロピーはその状況についてまだ知らない情報の量を意味する
- その情報は原理的には学べるものでなければならない
- 本書は、この考えを精密で定量的な概念にすることに焦点を当てる
- 中心的な問いは、室温・常圧の水素気体がなぜ分子あたり約23ビットの未知の情報に相当するエントロピーを持つのか、ということ
パズルを解くためにつなぐ概念
-
情報とエントロピー
- 情報の概念から出発して、ShannonエントロピーとGibbsエントロピーを扱う
- 最大エントロピー原理とBoltzmann分布を通じて、確率的状態を扱う方法を説明する
-
温度、エネルギー、分配関数
- 温度と冷たさ(coolness)、エントロピーと期待エネルギーの関係を結びつける
- 等分配定理、分配関数、期待エネルギー、自由エネルギーがエントロピー計算にどう絡むかを扱う
-
古典系の例
- 古典的調和振動子のエントロピー
- 箱の中の古典的粒子のエントロピー
- 古典的理想気体のエントロピー
あえて扱わないテーマ
- 熱力学第2法則はほとんど扱わない
- エントロピーが常に増大するという話は興味深いが問題も多く、きちんと説明するには別の本が必要だと考えている
- 生物学とブラックホール物理学におけるエントロピーの役割も除外する
- 物理の一般向け書籍でよく扱われるエントロピーの側面は、この本の範囲外にある
- エントロピーを「無秩序」とは呼ばない
古典物理にも必要なPlanck定数
- 物理の前提知識を低く保つため、量子力学の説明はできるだけ抑えている
- しかし3つの古典系のエントロピー公式にはPlanck定数が登場する
- Planck定数は位置・運動量空間における体積単位を与える
- この体積単位がなければ、それらの系のエントロピーを定義できない
- 水素気体をできるだけ古典的に扱うとしても、良い近似のエントロピー公式を得るにはごくわずかな量子力学が必要になる
数学的な性格と読み方
- 本書は数理物理学者のスタイルで概念を精密にし、風変わりな反例まで検討することに多くの時間を使う
- 実際の現場の物理学者よりも、技術的細部に長くとどまることがある
- 技術的内容が遅すぎると感じたら、次の「tweet」に進んでもよい
- 本当に重要な内容は枠内に入っている
- 最後まで読んだあとで細部を学び直す読み方もできる
1件のコメント
Hacker News の意見
Shannon が語った有名な逸話がある。「いちばん悩んだのは名前だった。『情報』と呼ぼうかとも思ったが、あまりに広く使われている言葉なので『不確実性』と呼ぶことにした。John von Neumann と話したところ、彼はもっとよい考えを出した。Von Neumann は『エントロピーと呼びなさい。第一に、あなたの不確実性関数は統計力学ですでにその名前で使われているので、すでに名前があります。第二に、そしてより重要な理由として、エントロピーが本当は何なのかを知っている人は誰もいないので、議論では常に有利になるでしょう』と言った」
Shannon のエントロピーが熱力学のエントロピーと同じなのかについての議論と参考文献は、この MathOverflow SE の回答群（https://mathoverflow.net/questions/403036/john-von-neumanns-...）で見られる
Shannon エントロピーを主観的な量、つまり観測対象ではなく観察者の属性として理解してから、ようやくきちんと分かった気がした
変数 X のエントロピーとは、観察者が X の値について持つ不確実性を 0 にするために必要な情報量である。したがって同じ変数 X について、私の不確実性と他人の不確実性は異なり得る。それぞれが X について異なる情報を受け取っているかもしれないのだから当然である。H(X) は H_{observer}(X)、さらに言えば H_{observer, time}(X) であるべきだ。Shannon の仕事は他の面では明快だが、この部分は大まかに済ませている
2つの分布の交差エントロピー H[p, q] = -Σ p_i log q_i を見てみよう。たとえば p はサイコロを実際に振ったときの結果の実際の頻度分布であり、q は私が信じている分布だとする。p_i は客観確率、q_i は主観確率と見なせる。交差エントロピーは、ある結果を観測したとき平均してどれほど驚くかを測る値に近い
興味深いのは H[p, p] <= H[p, q] であることだ。信念の分布が間違っていれば、正しい信念 q=p を持っている場合より交差エントロピーが大きくなるという意味である。これは対数の凹性によって保証される。したがって信念を比較できる。ある q が H[p,q] を最も低くするなら、その q は真実により近い
交差エントロピーは H[p, q] = H[p] + D[q||p] のように 2つの部分に分けることもできる。第一項は p のエントロピーであり、モデル化しようとしている現象そのものに内在するランダム性、すなわち偶然的不確実性である。第二項は KL ダイバージェンスで、誤った信念によって追加で生じる不確実性、すなわち認識論的不確実性を表す
異なる観察者の信念を測るときは、単に異なる分布を見ているだけであり、それらの分布は平均や分散が異なり得るのと同じように、エントロピーも異なり得る
しかしシードを知らなければ、エントロピーは非常に高い
エントロピー + 情報 = 完全な記述に含まれる総ビット数
割れていない卵は低エントロピーである。卵が割れていない状態で存在する方法は一つだけで、卵の状態を 1 ビットで表すこともできる
割れた卵は高エントロピーである。割れた破片が配置され得る方法は任意に多い
割れた卵の破片それぞれの位置と向きを、緯度・経度・コンパス方位の順に並べたリストは、再び低エントロピーである。特定の割れた卵の一例について、そのリストは一通りにしか書けない
そのリストを zip で圧縮すると、再び高エントロピーになる。.zip ファイル内のデータは実質的にランダムに見え、それ以上大きく圧縮できない。再び展開するまではそうである
同様に、圧縮していないリストを帯域幅制限のあるチャネルで送信しなければならない場合、受信者は内容について何の仮定もできないため、構造があったとしてもランダムと変わらず、エントロピーは実質的に再び高くなる
統計力学の先生が使っていたアプローチが本当に良かった。ほとんどすべての状況で、エントロピーは結局、システムを配列できる方法の数の対数（https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula）になる
個人的には、2個のサイコロの出目の組として考えるのが一番分かりやすかった
残念ながら Shannon の用法とはごく浅い意味以外ではあまり合わないため、この解釈は物理学の領域にしっかり残っている
だから情報とエントロピーは異なる。エントロピーとは、自分が知らないという事実を知っていることである。その未知の大きさについての知識を定量化するものだ
この記事で間違っている、あるいは十分に簡潔でないと見る点もここにある。次の表現は私には、エントロピーではなく「知らないことすら知らないもの」まで含んでいるように見える。
https://en.wikipedia.org/wiki/Thermodynamic_beta
情報理論におけるエントロピーは、いつもこう考えてきた。「本当に賢い圧縮アルゴリズムがあったとしたら、このファイルを正確に表現するのに何ビット必要だろうか？」
つまり、繰り返しの多い入力はビットあたりのエントロピーがそれほど高くないので、よく圧縮できる。現代の圧縮アルゴリズムはほとんどのデータに対して十分に優れているため、実際のエントロピーの妥当な近似値として使える
離散確率分布のエントロピーについては、こういう現実的な説明が好きだ。John Baezの記事は好きだが、PDFをざっと見たところ、この視点は扱っていないようで意外だった
分布を複数の区間に対するヒストグラムとして考えてみよう。するとエントロピーは、非常に多くのボールをランダムにそれらの区間へ投げ入れたとき、ボールの分布がそのヒストグラムのように見える確率を測る値になる。通常期待されるのは区間に対する一様分布なので、エントロピーは他のまれな事象、確率論の用語で言えば典型的な振る舞いからの大偏差がどれほど起こるかを測る
より具体的には、P = (P1, ..., Pk) がある分布だとすると、N が非常に大きいときに N 個のボールを投げて P のように見えるヒストグラムが得られる確率は、おおよそ 2^(-N * [log(k) - H(P)]) である。ここで H(P) がエントロピーである。P が一様分布なら H(P)=log(k) なので指数は 0 になり、推定値は 1 となる。これは、圧倒的に最も起こりやすいヒストグラムが一様分布であることを意味する
これが可能な最大エントロピーなので、他のヒストグラムはある c > 0 に対して 2^(-c*N) の確率で現れ、つまり非常にまれで、投げるボールが増えるほど指数関数的にさらにまれになる。エントロピーはその程度を測る値である。「より一様でない」分布ほど起こりにくいので、エントロピーはある意味での一様性も測っている。大偏差理論では、この具体的な命題はサノフの定理と呼ばれ、エントロピーが果たす役割は「レート関数」である
人々が語るエントロピーの数え上げによる解釈も、高いレベルでは関係している。サノフの定理では、確率は「P のように見える」結果の数を全結果数で割ったものであり、その分子は特定の性質、この場合はボールと区間の配置が P のように見えるという性質を持つ構成の数を数えているのは確かだ
同値な定義は数多くあり、それぞれ利点や一般化の仕方が異なるが、この視点はエントロピーを取り巻く神秘感を取り払うのに特に役立つ
PBS Spacetimeのエントロピー再生リスト: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
情報エントロピーとは文字どおり、この情報を生成する確率分布が分かっているときに、情報をどれだけ効率よく伝達できるか、つまり送信ビット数の期待値に対する厳密な下限である
ビット列や英語の情報エントロピーを計算する文脈でも、0 と 1、文字、n-gram などの相対頻度を使ってデータから経験的な確率分布を作り、その分布のエントロピーを計算している。Baezの定義がとても気に入っているわけではないが、彼の権威を考えると、むやみに異を唱えるのは難しい
「熱力学第二法則、つまりエントロピーは常に増大するという話はほとんど避けた。興味深いが、あまりに厄介で、きちんと説明するにはもう一冊別の本が必要になる！」
興味があるなら、Arieh Ben-NaimのEntropy Demystifiedを読んでいるところで、ほぼ同じ方向からこの側面を扱っている
新たなエントロピー/ランダム性はどこから来るのか、ときどき考える。宇宙の最初期の状態を、膨張した無限に密度の高い点粒子と見るなら、不均一に膨張させた何らかのランダム性または多様性があったはずで、それが物質を反物質より優勢にしたり、銀河や銀河団などを生じさせたりしたのだろう
特定の静的な粒子がある孤立系を考えたとき、それらの粒子の小さな部分集合が動き始めてエントロピーを導入する、ということは起こり得るのだろうか？ エントロピーは少なくとも量子レベルで自動的に導かれ得るのだろうか？ これを説明できれば、宇宙の起源をよりよく理解する助けになりそうだ
古典的な例はこうだ。完全に対称なソンブレロ[1]があり、帽子の中央の頂点でボールが釣り合っているところを想像してみよう。ボールが落ちるべき好ましい方向はないが、その状態は不安定である。どんな摂動でもボールを下へ転がし、ボールは帽子のつばの安定した配置で止まる。元の配置の対称性はこの時点で破れているが、安定している
1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
ここでは、探しているランダム性は量子ゆらぎから来ており、このランダム性がなければ宇宙はおそらく「起こらなかった」だろう、と説明している