情報とエントロピー入門

全体概要

本セミナー「情報とエントロピー」は、2021年6月26日にマルゼミの場で開催されました。そのテーマは、物理学・情報理論・機械学習・量子情報という一見異なる四つの領域を貫く、一本の深い理論的脈絡を明らかにすることです。

冒頭ではSusskindの言葉が引用されます。「統計力学はプレモダンであり、モダンであり、ポストモダンでもある。熱力学の第二法則は、いかなる新理論をも生き残るだろう」[p.2]。この一節がセミナー全体の哲学的姿勢を端的に示しています。エントロピーという概念は特定の時代の産物ではなく、情報・エネルギー・確率という普遍的な構造に根ざしているのです。

第一部ではシャノン・エントロピーを「異なる典型的メッセージの数Wの対数」として導出し [p.22], [p.27]、ボルツマン・エントロピーを「ミクロな状態の数Wの対数」として並行的に導出することで [p.30], [p.65]、両者が本質的に同一の数学的構造を持つことを示します。第二部では、このエントロピーをエネルギーの拘束条件のもとで最大化するという問題設定（ラグランジェの未定乗数法）から分配関数Zが自然に導出され [p.83], [p.93]、エネルギーE、エントロピーS、温度Tがすべて分配関数の微分操作で表現できることを明示します [p.97], [p.107]。第三部では、この枠組みがディープ・ラーニングにどう活きているかが示されます。クロス・エントロピーを相対エントロピーの特殊ケースとして理解し [p.118], [p.126]、Softmax関数が分配関数の確率版そのものであることを示し [p.131]、「温度」というメタパラメータの統計力学的意味を明確にします [p.136], [p.139]。第四部では密度行列・Traceを導入し [p.147], [p.152]、ノイマン・エントロピー S(ρ) = -tr(ρ log ρ) を定義することで [p.159], [p.162]、量子系においてもまったく同じエントロピーの公式が成立することを示し、最後にハミルトニアンと分配関数の量子版を結びつけてシュレジンガー方程式まで展望します [p.166], [p.177]。この旅程全体を通じて、エントロピーという量が情報・熱力学・学習・量子力学のすべてに通底する「普遍的な構造」であることが、鮮やかに照らし出されます。

講義のロードマップ

■ Part 1: 確率分布とエントロピー

• この部の核心:

確率分布が与えられたとき「どれだけの不確実性（情報量）が存在するか」を定量化するシャノン・エントロピーと、物理系における「ミクロな状態の数」から熱力学的エントロピーを導くボルツマンのアプローチを、同一の多項係数 N!/(p₁N)!…(pℓN)! から並行して導出し、両者が本質的に同じ数式であることを明らかにします [p.5], [p.67]。

• 論理展開:
• シャノン・エントロピーの定義 H(X) = -Σᵢ pᵢ log₂ pᵢ を示し、確実な事象（p=1）でゼロ、コイントス（p=1/2）で1 bit、という具体例で直観を養います [p.9], [p.17]。
• 「異なる典型的メッセージの数W」= N!/(p₁N)!(p₂N)!…の多項係数から、H = log₂ W ≡ -Σ pᵢ log₂ pᵢ が導出されます [p.22], [p.27]。
• ボルツマンは S_B = k log W として同じWを使い、N個の分子をℓ個のマクロ状態（セル）に配分する組み合わせから S_B = -Nk Σ pᵢ log pᵢ を導きます [p.30], [p.65]。
• 二つのエントロピーの対比表（ガスvs.メッセージ、ミクロ状態vsアルファベット）により、構造的同一性が整理されます [p.67]。

■ Part 2: エネルギーとエントロピー

• この部の核心:

エントロピーを「エネルギーの拘束条件Σpᵢ Eᵢ = E のもとで最大化する」問題として定式化し、ラグランジェの未定乗数法から分配関数 Z(β) = Σᵢ e^{-βEᵢ} を導出します。さらにE、S、温度TがすべてZの微分操作で表現できることを示し、分配関数が熱力学量の「母関数」として機能することを明確にします [p.70], [p.107]。

• 論理展開:
• 拘束条件 Σpᵢ = 1 および Σpᵢ Eᵢ = E のもとで -S = Σ pᵢ log pᵢ を最小化する条件 ∂(-S)/∂pᵢ = 0 から log pᵢ + 1 + α + βEᵢ = 0 が得られます [p.83], [p.89]。
• Z = e^{1+α} と置くと pᵢ = (1/Z)e^{-βEᵢ}（ボルツマン分布）が確定し、正規化条件からZ = Σᵢ e^{-βEᵢ} が導かれます [p.91], [p.93]。
• エネルギーE = -∂ log Z/∂β、エントロピーS = βE + log Z、温度T = 1/β という三つの関係式が導出されます [p.97], [p.107]。

■ Part 3: ディープ・ラーニングとエントロピー

• この部の核心:

「相対エントロピー（KLダイバージェンス）」を「事前仮説pに対する実測分布qの情報ギャップ」というベイズ的解釈で導入し [p.118], [p.121]、ディープラーニングのクロス・エントロピー損失関数がその特殊ケースであることを示します。さらにSoftmax関数が分配関数と等価であり、「温度」パラメータが確率分布のシャープネスを制御するメタパラメータとして機能することを明らかにします [p.128], [p.139]。

• 論理展開:
• 相対エントロピー H_rel(q,p) = Σ q(x) log(q(x)/p(x)) は q=p のときのみゼロとなり、「まだ学習すべき残余情報量」を意味します [p.118]。
• クロス・エントロピー H_cross(q,p) = Σ qᵢ log pᵢ と相対エントロピーの関係は H_rel(q,p) = -H(q) - H_cross(q,p) で表されます [p.125]。
• DNCのコンテンツ・アドレッシング関数 C(M,k,β)[i] = exp{D(k,M[i,·])β} / Σⱼ exp{…β} はボルツマン分布の直接応用であり、βが「キーの強さ（＝逆温度）」として機能します [p.130], [p.131]。
• 温度Tを上げると確率分布が平坦化（Hot）、下げると特定状態に集中（Cool）し、学習の探索性とシャープネスのトレードオフを制御します [p.137]。

■ Part 4: 量子情報とエントロピー

• この部の核心:

古典的な確率分布を「密度行列 ρ」に置き換えることで、ノイマン・エントロピー S(ρ) = -tr(ρ log ρ) = -Σᵢ λᵢ log λᵢ（λᵢはρの固有値）が定義され、これがシャノン・エントロピーの量子力学的拡張であることを示します。さらにハミルトニアンHから定まる密度行列 ρ = e^{-βH}/Z のもとで、同じ S = βE + log Z という関係が量子系でも成立することを導出します [p.143], [p.177]。

• 論理展開:
• 密度行列 ρ = Σᵢ pᵢ |φᵢ> という基本性質を確認します [p.147], [p.152]。
• 行列の指数関数 e^A = Σ_n A^n/n! および対数 log A の定義を確立し、log(AB) = log A + log B（AB=BA のとき）などの性質を整備します [p.154], [p.157]。
• ρ = e^{-βH}/Z の対数を取ると -log ρ = βH + log Z となり、両辺にρを掛けてTraceを取ると -tr(ρ log ρ) = βE + log Z = S が導かれます [p.167], [p.169]。
• 時間発展演算子のユニタリ性 U†U = I からハミルトニアンがエルミート演算子であること、およびシュレジンガー方程式 iℏ ∂|Ψ>/∂t = H|Ψ> が導出され、量子論的エネルギーの保存則までが展望されます [p.170], [p.177]。