講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「情報とエントロピー」は、2021年6月26日にマルゼミの場で開催されました。そのテーマは、物理学・情報理論・機械学習・量子情報という一見異なる四つの領域を貫く、一本の深い理論的脈絡を明らかにすることです。
冒頭ではSusskindの言葉が引用されます。「統計力学はプレモダンであり、モダンであり、ポストモダンでもある。熱力学の第二法則は、いかなる新理論をも生き残るだろう」[p.2]。この一節がセミナー全体の哲学的姿勢を端的に示しています。エントロピーという概念は特定の時代の産物ではなく、情報・エネルギー・確率という普遍的な構造に根ざしているのです。
第一部ではシャノン・エントロピーを「異なる典型的メッセージの数Wの対数」として導出し [p.22p.27]、ボルツマン・エントロピーを「ミクロな状態の数Wの対数」として並行的に導出することで [p.30p.65]、両者が本質的に同一の数学的構造を持つことを示します。第二部では、このエントロピーをエネルギーの拘束条件のもとで最大化するという問題設定（ラグランジェの未定乗数法）から分配関数Zが自然に導出され [p.83p.93]、エネルギーE、エントロピーS、温度Tがすべて分配関数の微分操作で表現できることを明示します [p.97p.107]。第三部では、この枠組みがディープ・ラーニングにどう活きているかが示されます。クロス・エントロピーを相対エントロピーの特殊ケースとして理解し [p.118p.126]、Softmax関数が分配関数の確率版そのものであることを示し [p.131]、「温度」というメタパラメータの統計力学的意味を明確にします [p.136p.139]。第四部では密度行列・Traceを導入し [p.147p.152]、ノイマン・エントロピー S(ρ) = -tr(ρ log ρ) を定義することで [p.159p.162]、量子系においてもまったく同じエントロピーの公式が成立することを示し、最後にハミルトニアンと分配関数の量子版を結びつけてシュレジンガー方程式まで展望します [p.166p.177]。この旅程全体を通じて、エントロピーという量が情報・熱力学・学習・量子力学のすべてに通底する「普遍的な構造」であることが、鮮やかに照らし出されます。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: 確率分布とエントロピー
確率分布が与えられたとき「どれだけの不確実性（情報量）が存在するか」を定量化するシャノン・エントロピーと、物理系における「ミクロな状態の数」から熱力学的エントロピーを導くボルツマンのアプローチを、同一の多項係数 N!/(p₁N)!…(pℓN)! から並行して導出し、両者が本質的に同じ数式であることを明らかにします [p.5p.67]。
■ Part 2: エネルギーとエントロピー
エントロピーを「エネルギーの拘束条件Σpᵢ Eᵢ = E のもとで最大化する」問題として定式化し、ラグランジェの未定乗数法から分配関数 Z(β) = Σᵢ e^{-βEᵢ} を導出します。さらにE、S、温度TがすべてZの微分操作で表現できることを示し、分配関数が熱力学量の「母関数」として機能することを明確にします [p.70p.107]。
■ Part 3: ディープ・ラーニングとエントロピー
「相対エントロピー（KLダイバージェンス）」を「事前仮説pに対する実測分布qの情報ギャップ」というベイズ的解釈で導入し [p.118p.121]、ディープラーニングのクロス・エントロピー損失関数がその特殊ケースであることを示します。さらにSoftmax関数が分配関数と等価であり、「温度」パラメータが確率分布のシャープネスを制御するメタパラメータとして機能することを明らかにします [p.128p.139]。
■ Part 4: 量子情報とエントロピー
古典的な確率分布を「密度行列 ρ」に置き換えることで、ノイマン・エントロピー S(ρ) = -tr(ρ log ρ) = -Σᵢ λᵢ log λᵢ（λᵢはρの固有値）が定義され、これがシャノン・エントロピーの量子力学的拡張であることを示します。さらにハミルトニアンHから定まる密度行列 ρ = e^{-βH}/Z のもとで、同じ S = βE + log Z という関係が量子系でも成立することを導出します [p.143p.177]。
ページのナビゲート