エントロピーとは何か？ 私たちの無知を測る尺度
(quantamagazine.org)- エントロピーは200年前、蒸気機関の効率の限界をめぐる問題から出発したが、現代物理では世界の固定的な性質というより、観測者が知らない情報を測る量として再解釈されている
- Carnot、Clausius、Boltzmannを経て、エントロピーは熱が仕事に変わらず拡散してしまう度合い、可能な微視状態の数、そして時間が一方向に流れる理由を説明する概念になった
- ShannonとJaynesはエントロピーを情報と不確実性の言語へと拡張し、Gibbsの混合逆説は、何を区別できるかによって取り出せる仕事とエントロピーが変わりうることを示した
- 最近の研究は、観測者の限られた測定・記憶・計算能力を数学に組み込もうとしており、観測エントロピー、情報エンジン、部分観測のSzilardエンジン、量子熱力学実験がその方向を探っている
- この観点では、完全な効率や完全な予測よりも不確実性の管理が重要になり、情報はエネルギー抽出・意思決定・小型機械の限界を定める物理的資源として扱われる
蒸気機関の効率から始まったエントロピー
- エントロピーという概念は、産業革命期の機械効率の問題から出発した
- 1824年、28歳のフランス人軍事技術者 Sadi Carnot は蒸気機関の究極的な効率を計算しようとし、118ページの著書 Reflections on the Motive Power of Fire を刊行した
- Carnotは蒸気機関を、高温の物体から低温の物体へ熱が流れる傾向を利用する機械とみなした
- 熱を仕事に変えられる割合には限界があり、この結果は Carnotの定理 として知られている
- 摩擦、振動、望ましくない運動のため、一部のエネルギーは常に散逸し、完全な効率は不可能である
- 1865年、ドイツの物理学者 Rudolf Clausius は、役に立たない形に縛り付けられるエネルギーの割合を「entropy」と呼んだ
- 彼は「宇宙のエントロピーは最大値へ向かう」という形で、熱力学第二法則 を定式化した
Boltzmannの確率的解釈と時間の矢
- 当時の物理学者たちは熱を「caloric」という流体だと誤解していたが、その後、熱は分子の運動に由来するという見方が定着した
- Ludwig Boltzmann はエントロピーを確率として再解釈した
- 個々の分子の位置や速度のような詳細な状態は 微視状態 である
- 温度や圧力のような全体的性質や、チェッカーの駒の全体配置のようなものは 巨視状態 である
- ある巨視状態を作りうる微視状態が多いほど、エントロピーは高い
- 整った形を作る方法は少ないが、無作為に散らばった形を作る方法ははるかに多い
- そのため第二法則は、「整然とした状態より乱れた状態になる方法のほうが多い」という確率的な文として理解できる
- 高温の粒子と低温の粒子が分離している状態より、混ざった状態のほうが起こりやすいため、熱は高温側から低温側へ流れる
- 同じ論理は、ガラスが割れ、氷が溶け、液体が混ざり、葉が分解される現象にも当てはまる
- エントロピーの増加は、逆向きも可能に見える過程に 時間の矢 を刻み込む
情報理論へと拡張されたエントロピー
- 第二次世界大戦中、Claude Shannon は通信チャネルの暗号化に取り組みながら、メッセージに含まれる情報量を測ろうとした
- Shannonは知識を不確実性の減少として扱い、次の文字が何かという不確実性を確率と対数で定義した
- すべての文字が同じ確率なら、Shannonの式はBoltzmannのエントロピー式と同じ形になる
- John von Neumann はShannonに、この量を「entropy」と呼ぶよう勧めたと伝えられている
- 熱力学的エントロピーがエンジンの効率を説明するように、情報エントロピー は通信の効率を捉える
- エントロピーの高いメッセージはパターンが少なく、次の文字を推測しにくいため、内容を知るにはより多くの yes/no の質問が必要になる
- パターンの多いメッセージは情報量が少なく、より容易に推測できる
- 1957年、E.T. Jaynes は2本の論文で熱力学を情報理論の観点から捉え直した
- 熱力学は粒子についての不完全な測定から統計的推論を行う科学に近い
- 既知の制約と両立するあらゆる構成に同じ可能性を与える 最大エントロピー原理 を提案した
- この原理は統計力学だけでなく、機械学習や生態学でも用いられている
- 異なる文脈から生まれたエントロピー概念はいずれも不確実性と結びついている
- 粒子の位置と運動量についての情報を失うと、Gibbs entropy が増加する
- 粒子が環境と絡み合い、量子状態がぼやけると、von Neumann entropy が増加する
- 物質がブラックホールに落ち込み、外部世界がその情報を失うと、Bekenstein-Hawking entropy が増加する
エントロピーは誰の無知なのか
- 現代的な理解では、エントロピーは粒子の運動、コード文字列の次の数字、量子系の正確な状態についての 無知 を測る
- この見方はすぐに「誰の無知なのか」という問題へつながる
- Carlo Rovelli は、油と水が振られた後に分離する現象を見て、第二法則を単純に「無秩序の増大」と説明することに問題があると考えた
- 見かけ上は秩序が増しているが、強力な熱的視野を持つ観測者なら、分離の過程で分子に運動エネルギーが放出され、熱的にはより無秩序な状態になっていることが分かる
- 巨視的な秩序は、微視的な無秩序を代償に形成されうる
- Jaynesは Gibbsの混合逆説 によって、観測者の識別能力がエントロピーを変えうることを示した
- 異なる気体AとBが仕切りで分けられていて、それが混ざるとエントロピーは増加する
- 2つの気体が同一で、圧力と温度も同じなら、仕切りを取り除いてもエントロピーは変化しない
- 2つの気体が実際には異なっていても、それを区別する方法がなければ、実験者にとっては同じ気体のように振る舞う
- Jaynesの例では、2種類のアルゴンは、まだ発見されていない元素「whifnium」に対する溶解性だけが異なる
- whifniumが発見される前は両者を区別できず、仕切りを外しても見かけ上のエントロピー変化はない
- whifniumの発見後は2つのアルゴンを区別でき、混合からエネルギーを取り出すピストンを設計できる
- エントロピーと取り出し可能な仕事は、系そのものの違いだけでなく、観測者が持つ 知識と資源 にも依存する
観測者依存性を数学に組み込もうとする試み
- エントロピーを系の固有の性質ではなく 観測者によって変わる性質 として扱うと、物理学の客観性に関する哲学的な負担が生じる
- Anthony Aguirre と協力者たちは、観測エントロピー（observational entropy）という尺度を考案した
- 特定の観測者がアクセスできる性質を指定し、それらの性質が現実をどれほど粗く束ねて見るかを調整する
- 観測された性質と両立するすべての微視状態に、Jaynesと同様に同じ確率を与える
- この式は、巨視的特徴を扱う熱力学的エントロピーと、微視的詳細を扱う情報エントロピーをつなぐ役割を果たす
- 複数の独立した研究グループが、Aguirreの公式を用いて第二法則のより厳密な証明を探している
- Aguirreはこの尺度によって、宇宙がなぜ低エントロピー状態から始まったのか、なぜ時間が未来へ流れるのか、ブラックホールにおいてエントロピーが何を意味するのかをより明確にしようとしている
- 量子情報理論では、情報を観測者が系と相互作用するために使う 資源 として扱う
- すべての粒子の正確な状態を追跡できる無限の能力を持つスーパーコンピュータなら、エントロピーは常に一定で、情報損失もない
- 人間のように有限の計算資源しか持たない観測者は、現実を粗くまとめて捉え、微視的な詳細を徐々に失っていく
- この流れが時間の流れとして現れる
情報エンジンと意思決定の物理学
- 2023年夏、Aguirreが共同設立した FQxI は、英国 Yorkshire で情報を燃料として使う方法を研究する物理学者たちを集めた
- こうした研究者たちにとって、エンジンとコンピュータの区別は次第に曖昧になっている
- 情報は、系からどれだけ多くの仕事を取り出せるかを表す、現実的で定量化可能な 物理的資源 として扱われる
- Leo Szilard の思考実験は、情報エンジンの核心を示している
- 箱の中の単一粒子が仕切りを押し、悪魔がひもと滑車を使って外の重りを持ち上げる
- 繰り返し仕事を得るには、悪魔が粒子が箱のどちら側にいるかを知っていなければならない
- Szilardエンジンは情報によって駆動される
- 情報エンジンも熱機関と同様に完全ではない
- 情報を測定し保存するには、平均して少なくともそれと同程度のエントロピーが生じる
- 知識は仕事を可能にするが、その知識を得て記憶するにもエネルギーが要る
- Susanne Still は、観測者を物理的限界を持つ物理系として扱ってきた
- 観測者は何を測定するか、限られた記憶に何を保存するかを決めなければならない
- 有用な予測に役立たない情報を集めると、エネルギー効率は低下する
- Stillは、物理的限界にできるだけ近い情報処理戦略を選ぶ least self-impediment principle を提案した
- Stillは、傾いた仕切りを持つ修正版Szilardエンジンで、現実の 部分観測性 をモデル化した
- 利用者は粒子の水平方向の位置、たとえば影しか見ることができない
- 影が仕切りの完全な左または右にあれば粒子の側を知ることができるが、中間領域では上下どちら側か分からない
- このモデルで最適な測定・記憶符号化戦略を計算すると、機械学習で使われる information bottleneck algorithm の物理的基礎づけが得られた
実験室の小さな情報エンジン
- John Bechhoefer と Simon Fraser University の研究チームは、水中に浮かぶほこりより小さな シリカビーズ でSzilardエンジンを再現した
- レーザーでビーズを閉じ込め、ランダムな熱ゆらぎを監視する
- ビーズが上方へ揺らいだとき、レーザートラップを素早く持ち上げてその運動を利用する
- 情報の力で重りを持ち上げることに成功した
- Bechhoefer と Still は、実際の情報エンジンで仕事を取り出す限界を研究している
- 特定の領域では、情報エンジンが従来のエンジンより大幅に優れた性能を示しうることを発見した
- Stillの理論研究に着想を得て、ビーズの状態に関する 部分情報 が生む非効率も追跡した
- Oxford University の Natalia Ares は、情報エンジンを量子スケールへ縮小する実験を進めている
- コースター大のシリコンチップ上で、細い炭素ワイヤの中に単一電子を閉じ込める
- このナノチューブは絶対零度から1000分の1度以内まで冷却され、ギターの弦のように振動する
- 振動周波数は内部の電子状態によって決まり、研究チームはこの微細な振動によって量子現象の仕事出力を診断しようとしている
- Aresのある実験計画はStillのアイデアに従っている
- ナノチューブ振動が電子にどれほど完全に依存するか、あるいは他の未知の要因にどれほど依存するかを調整する
- これは観測者の 無知の程度 を調整するノブとして機能する
- 量子スケールでは、どのエントロピーが関係する限界を定めるのか、仕事出力をどう定義すべきかがより複雑になる
- Nicole Yunger Halpern が率いる最近の研究は、通常は同義に使われるエントロピー生成の定義が、量子領域では食い違いうることを示した
- 量子スケールでは特定の性質を同時に知ることができず、測定順序が結果に影響する場合がある
- Yunger Halpern は、量子世界の追加資源がCarnotの定理の周辺を迂回するのに使える可能性があると見ている
不確実性を扱う科学への転換
- 2024年9月、フランスの Palaiseau ではCarnotの著書200周年を記念して数百人の研究者が集まった
- 参加者たちは、太陽電池からブラックホールまで、それぞれの研究領域でエントロピーがどんな役割を果たすかを議論した
- フランス国立科学研究センターのある責任者は、Carnotの影響力を見過ごしてきたことについて、フランスを代表して謝罪した
- Carnotの洞察は、機械的な世界を完全に制御しようとする試みから生まれたが、エントロピーが自然科学全般へ広がるにつれて焦点は変化した
- 洗練されたエントロピー観は、完全な効率と完全な予測という夢を手放し、世界の 還元不可能な不確実性 を認める
- 秩序の崩壊はあらゆる機械の動力となり、新しい視点は混沌の中に隠れた秩序の貯蔵庫を明らかにするかもしれない
- エントロピーは避けられない無秩序であるだけでなく、感知し、推論し、よりよい選択をするよう私たちを促す 知識探求の動機 としても働く
1件のコメント
Hacker Newsの意見
ここでこの記事が議論されているのを見られてうれしいです
インタラクティブ要素の技術実装を担当しました。ソースコードはこちらで見られます: https://github.com/jnsprnw/mip-entropy
Svelte 5とTailwindで作りました
最近、一回限りのインタラクションがSvelteで作られることが多いようですが、どんな利点があるのでしょうか？
博士号取得から27年ぶりにこの記事を読むと興味深いですね
理論物理学の博士課程で、エントロピーを駆動要因として見る観点から、未知のものがある場合とない場合を比較していました
博士論文は、空洞内の量子力学的な系をどう扱うかに関するもので、片側が完全な鏡、もう片側が99.999999%完全な鏡である空洞を扱っていました
不完全な鏡の反対側にもう1枚の完全な鏡を置いて1次元宇宙を完成させました。ASCIIで表すと
[100%] —l— [100-epsilon] ——L——— [100%]で、ここで L >> l です宇宙全体の解は標準的な量子力学の手法で単純でしたが、損失のある小さな宇宙の解はそうではなく、物理的には両者は同じであるべきでした
そこで、完全な (l+L) 宇宙の厳密解を使い、損失を説明する非線形項を持つ、考え得る小さな (l) 宇宙モデルと比較しました
損失系ではエントロピーが存在する、あるいは駆動力のように働き、無損失系ではすべてが保存されますが、この両者のつながりは新しい洞察ではありません ;-0
lとLが何を意味するのかも分かりませんし、最後の文はおそらくhowが不要なのだと思いますSean Carrollがエントロピーを説明するのを聞いてから、エントロピーがずっと面白く感じられるようになりました
彼は基礎論的・哲学的な傾向があり、異なる哲学的土台の上にあるエントロピーの定義同士が競合していて、そのうちの1つは観察者依存に見える、という点をよく指摘します
https://youtu.be/x9COqqqsFtc?si=cQkfV5IpLC039Cl5
https://youtu.be/XJ14ZO-e9NY?si=xi8idD5JmQbT5zxN
Leonard Susskindには、量子情報とブラックホールのエントロピー計算に関する優れた講義や本が多くあり、それがかなり急進的な新しい仮説へとつながりました
Stephen Wolframもエントロピー概念の歴史について長い講演をしていて、なかなか良かったです: https://www.youtube.com/live/ocOHxPs1LQ0?si=zvQNsj_FEGbTX2R3
「物理学者たちがこの1世紀にわたり、一見かけ離れた分野を統合しようとする中でエントロピーに新たな光を当て、顕微鏡をそれを見る人へと向け直し、無秩序という概念を無知という概念へと変えた。エントロピーは系に内在する性質ではなく、その系と相互作用する観察者に相対的なものと見なされる」というくだりは、巨人の肩のおかげかもしれませんが、かなり平凡な観察に見えます
高エントロピー状態とは、対応するミクロ状態が多いマクロ状態です
複数のミクロ状態を同じマクロ状態に分類すること自体が、明らかに観察者中心の関数ではないでしょうか？
たとえばサイコロで5と6を本質的に同じ結果と見なすなら、その結果はより確率が高く、エントロピーも高い結果になります
しかしそれは私の分類によるものであって、系に内在する性質ではありません
「高エントロピー状態とは、対応するミクロ状態が多いマクロ状態である」というのは、与えられたモデルでエントロピーを導く方法です
しかしエントロピーは実験測定からも得られます。このとき実験装置はミクロ状態やマクロ状態を気にせず、エンタルピー、熱容量、温度といった性質だけを持ちます
後からモデルを立てて、ある気体のエントロピーが理想気体モデルの予測と一致するとか、ある固体のエントロピーが振動エントロピーについての知識と一致すると言うことはできます
水素原子が識別不能だと言うやり方も同じです。私たちがそう決めたから識別不能になるのではなく、2つの場合のエントロピーを計算してみると、現実が識別可能な原子モデルとは一致しないからです
きれいなモデルだけを見ると、マクロ状態の分類が観察者中心に見えますが、ある物質のエントロピーの実験値が、実験者の使っていたモデルに関係なく一貫している理由を説明できません
根本的に、エントロピーは観察者ではなく確率分布に依存します
入門物理の教科書を読んできた多くの学生にとって、まったく自明ではありません
実際、エントロピーはしばしば誤って教えられてきましたし、正しく理解している人はごく少数でしたが、今では少しずつ修正されていると思います
大衆科学誌、ドキュメンタリー、YouTube動画が一般の人々をさらに混乱させていることも追加の証拠です
すべての観察者は、実験をして科学的方法を用いるとき、同じ基本法則を発見しなければなりません
あなたの比喩に合わせれば、5と6を同じだと言うことは、ゲームのルールがそのように変換可能で、両者を区別する観察者も自分の基準系で正しく変換されたルールに到達できる場合にのみ可能です
中性子星やブラックホールのように、量子物理と一般相対性理論が同時に関わる対象があることを考えると、この命題はかなり根本的に感じられ、むしろ強く言い過ぎているのではないかと思うほどです
長い間、エントロピーが実際に何を表しているのか直感がありませんでした
このVeritasiumの動画が、ついに理解できるように説明してくれました: https://www.youtube.com/watch?v=DxL2HoqLbyA
ハイゼンベルクの不確定性に触れていない点は残念で、このアプローチの理論的な上限だと思います
また、この種の量子エンジンから潜在的に得られる有用な仕事に比べて、計算コストがどれほどかかるのかも考慮すべきです
計算に要するエネルギーコストが潜在的な有用な仕事を上回るなら、依然として純損失か、役に立たない仕事です
最後に、隠れたパターンとランダム性のスペクトルの問題があります
ある系は別の系よりもランダム性が高く、妥当な計算エネルギーコストの範囲内で有用な仕事を得られる可能性は、ランダム性のスペクトルを下るほど小さくなります
ハイゼンベルクの不確定性が最大の系、つまり粒子がもつれておらず、ほかのもつれた粒子の上位構造とも相関していない系では、知識を改善する余地がないため、潜在的な仕事も 0 です
これが局所系と巨視系における究極のエントロピーであり、おそらくダークエネルギーのような特定のエネルギー保存原理の破れの原因でもあるでしょう
今年初めに関連スレッドがありました
https://news.ycombinator.com/item?id=41037981（"What Is Entropy? (johncarlosbaez.wordpress.com)"、コメント209件）
エントロピーが主観的であることを示そうとするインタラクティブなグラフィックには、あまり納得できません
考えている系の巨視状態をきちんと定義しないまま、互いに異なる2つの巨視状態について異なる観測エントロピーを示しています
Alice にとっては色、Bob にとっては図形、という具合です
これはエントロピーが主観的であることを示しているのではなく、系を定義することが主観的であることを示しています
同じ2つの巨視状態であれば、やはり同じエントロピーを持つはずです
記事はこの部分に少し触れてはいますが十分ではなく、もしかすると文献の状況のためかもしれません
Safranek らの観測エントロピーの論文は、巨視状態への**粗視化（coarse graining）**の選択が異なるエントロピーにつながり得ることを示していて興味深いものでしたが、そもそもなぜ特定の粗視化や巨視状態を選ぶのかという核心的な問いは扱っていません
情報理論の文献では、特定の粗視化や巨視状態を選ぶことには情報コスト、コルモゴロフ複雑性の意味でのコストがあります
記事の例でいえば、エントロピーを定義するために図形か色を選ぶコストです
そのため、観測エントロピーは、選択された粗視化の情報コストまで含む、より大きなエントロピーまたは情報コストの一部のように感じられます
これは記事後半の観測コストと情報ボトルネックの議論に再びつながりますが、記事やリンク先の論文が、この差異のある巨視状態コストの問題を明示的かつ詳しく扱っているようには見えません
熱力学的コストがあるという議論はありますが、そのコストがどのように積み上がるのか、なぜある巨視状態を別のものではなく採用するのかは不明です
主観性の例に出てくる Alice と Bob は、互いに異なる物理的制約によって定義されており、制約の異なる2つの観測システムと見ることができます
もう一つの見方として、多数の粒子が入った箱が「純粋にランダム」だとしましょう
この場合、Alice と Bob が何を見るにせよ重要なのは粒子数などであり、色に関するエントロピーは粒子の位置ではなく色の数に依存します。すでに最大エントロピー状態だからです
特定の属性を基準に粒子を再編成すれば、両者は純粋なランダム状態からエントロピーを一定量下げることになり、これは粒子を再び純粋なランダム状態へ戻すのに必要な情報と何らかの形で関係し得ると思います
記事には他の科学・数学分野へのリンクが多く、観測の情報コストに関する内容は、計算の観点からアプローチした Wolpert（2008）と、その後の Rukavicka を通じて数学・コンピュータ科学の文献にもつながります
神経科学の文献にもエントロピー低減効率と似た考えがありますが、関係する人たちの名前は今は思い出せません
Quanta の記事は本当に良かったのですが、特定の領域には曖昧さが多く、それが文章上の曖昧さなのか、文献自体の曖昧さなのか、それとも私の理解不足なのかを区別するのは難しかったです
Alice の種族には Bob 側のエントロピーを検知する測定装置がなく、したがって Alice は Bob の系から有用な仕事を取り出せず、その逆も同様です
したがって、客観的なエントロピーの定義には測定者の能力が含まれていなければなりません
結局、巨視状態についてあなたが言ったことと同じです
正確には言い当てられていませんでしたが、その通りです
系を定義することと、系のエントロピーを定義することを混同したうえで、エントロピーは主観的だと言っています
まったくそうではありません。エントロピーは単なる測定値です
コメントではこの Sabine の動画は見かけなかったように思います。物理学におけるエントロピーに関心のある人には興味深いかもしれません
"I don't believe the 2nd law of thermodynamics. (The most uplifting video I'll ever make.)"
https://m.youtube.com/watch?v=89Mq6gmPo0s
私は機械学習、情報理論、確率の分野でエントロピーに触れました
私にとってはかなり直感的で、興味深く有用ですが、神秘的なものではありません
確率密度関数、気取って言えばヒストグラムは、どの結果が何回出ると期待されるかについての現時点で最善の知識です
実験を一度行っても結果は分からず、異なる結果の数だけを数えることができ、いつ正確にどの結果が出るかは確信できません
平坦な確率密度関数は知識が乏しいという意味です。すべての結果がほぼ同じくらい起こり得て、私は非常に無知です。つまりエントロピーが高いのです
尖った確率密度関数は知識が良いという意味です。ある結果のほうがはるかにありそうで、エントロピーは低いです
極端な場合、確率密度関数が Dirac デルタなら決定論的な知識です
少し興味深いのは、新しい観測が知識を減らす場合です
例えば、今は自分ががんではないとかなり確信していて、私の年齢層での確率が 90:10 だとしましょう
明日検査を受けて陽性が出ました。私の年齢層で陽性になった人のうち、実際にがんである人はおよそ半分です
検査後、私の確率は 50:50 になります。今や私は、がんなのかそうでないのかについて完全に無知になりました
検査前、陽性結果を受け取るまではがんではないと非常に確信していたのに、新しい情報である陽性結果が、がんの確率を尖った周辺確率
P_Y(y)={0.9,0.1}から、完全に無知な条件付き確率P_Y(y|+ve test)={0.5,0.5}に変えたのですこの例は DeWeese と Meister の "How to measure the information gained from one symbol" から来ています: https://pubmed.ncbi.nlm.nih.gov/10695762/
良い記事です
エントロピーと情報の主観的な性格は、すぐに意識に関する 統合情報理論（IIT） と、その根本的な徒労を思い起こさせます
情報は視点なしには議論できません。誰かが状態を定義しなければなりません
サイコロが 6 つの状態を持つというのも、私たち人間にとってだけそうなのです。サイコロが自分の上に落ちてくる可能性のあるアリにとってはどうでしょうか？
情報の議論に観察者を再び引き戻すことは興味深いです。そうするとすぐに「観察者はどのように構成されるのか？」「何兆もの細胞からなる存在において、視点、つまり『私』はどのように生まれるのか？」という問いが続くからです
この回り道に興味があるなら、この記事とその中で言及されている私たちの本を読んでみる価値があります
https://saigaddam.medium.com/consciousness-is-a-consensus-me...