エントロピー論の現在

全体概要

本セミナー「エントロピー論の現在」は、シャノン・エントロピーという一見シンプルな式 H(X) = −∑ pᵢ log pᵢ が、1948年の誕生以来、どのように数学的・哲学的に深化し続けてきたかを問う意欲的な講義です。

中心的な問いは「エントロピーとは何か、そしてそれをどのような条件から一意に導けるか」です。シャノンが通信システムの分析という工学的文脈から情報量の概念を構築したことを出発点とし、「選択の不確かさ」「情報の損失」「確率分布の合成」といった多様な視点からエントロピーが再解釈されてきた歴史的系譜をたどります。

技術史的な位置づけとして、1948年のShannon、1956年のFaddeev、そして2011年のBaez・Fritz・Leinsterによる「Entropy as a Functor」という現代的再定式化まで、約70年にわたる理論的進化が一本の糸で結ばれます。特に現代のアプローチでは、カテゴリー論（圏論）という数学の抽象的言語を用いることで、シャノン・エントロピーが「連続でChainルールを満たす唯一の関数」、あるいは「情報損失を測る連続なFunctor」として厳密に特徴づけられることが示されます。

探求の結論は明快です。エントロピーは単なる「不確かさの尺度」ではなく、確率分布上の決定論的プロセスにおいて失われる情報量を測る、構造的・関手的な量として理解できます。入力にシンプレックス（確率分布の空間）と実数軸を与えれば、シャノン・エントロピーの概念を出力する「カテゴリー論的マシン」が存在するという視点は、情報理論の根底を問い直す知的な衝撃をもたらします。

---

講義のロードマップ

■ Part 1: シャノン・エントロピーの基本的な性質について

• この部の核心:

エントロピーの定義式を丁寧に確認し、H(X) ≥ 0・H(X) = 0となる条件・H(X)が最大となる条件・単位としての「bit」という4つの基本性質を直感的かつ厳密に把握します。「確率分布が与えられれば、エントロピーが決まる」という対応関係の明確化が、以降の議論の土台となります [p.3], [p.4]。

• 論理展開:
• H(X) = −∑ pᵢ log₂ pᵢ = ∑ pᵢ log₂(1/pᵢ) と変形することで、pᵢ ∈ [0,1] より各項が非負となり H(X) ≥ 0 が導かれます [p.15], [p.18]。
• H(X) = 0 となるのは、ある一つのiについてのみ pᵢ = 1 となる場合（確実な情報）であり、「確実な情報のエントロピーはゼロ」という直感と対応します [p.19], [p.23]。
• H(X)は、すべての pᵢ が等しい一様分布 pᵢ = 1/n のとき最大値 log₂ n を取ります [p.25], [p.28]。
• フェアなコイントス（H = 1）を基準単位「bit」と定め、2ⁿ個の等確率状態の最大エントロピーが n bit となることが、計算機科学における「bit」の直感と一致することを確認します [p.32], [p.36]。

---

■ Part 2: シャノンが考えたことを振り返る

• この部の核心:

シャノンが1948年の論文「A Mathematical Theory of Communication」においてエントロピーをいかに導いたかを原典に即して再構成します。「メッセージの意味ではなく選択の不確かさを測る」という根本的な発想転換と、そこから対数的尺度の必然性・三つの条件・エントロピーの式の導出に至る論理的流れが核心です [p.38], [p.39]。

• 論理展開:
• 通信の基本問題は「可能なメッセージの集合から選ばれた一つを再生産すること」であり、メッセージの意味は工学的に無関係と明言されます [p.43], [p.46]。
• 情報の尺度として対数が選ばれる理由は、(1)リレー追加で状態数が2倍になることが log で「+1」と線形に表現されること、(2)時間が2倍になると可能メッセージ数が2乗になる一方 log では2倍になること、という工学的利便性にあります [p.50], [p.53]。
• エントロピーHが満たすべき三条件（連続性・単調増加・条件3のChain的分解性）を提示し、A(sᵐ) = mA(s) → A(t) = K log t → H = −K∑pᵢ log pᵢ という三段階の導出が示されます [p.58], [p.78]。

---

■ Part 3: Faddeev-LeinsterのChainルール

• この部の核心:

1956年にFaddeevが定式化し、Leinsterが精緻化した「Chainルール」によるシャノン・エントロピーの特徴づけを解説します。「連続でChainルールを満たす関数は、シャノン・エントロピーの定数倍に限る」という定理は、エントロピーを確率分布の合成に関する構造的な量として捉え直す決定的な視点を提供します [p.80], [p.81]。

• 論理展開:
• ChainルールはS(p ∘ (q¹,…,qⁿ)) = S(p) + ∑ pᵢS(qⁱ) という等式で表され、確率分布の木構造的合成におけるエントロピーの分解性を表現します [p.88], [p.97]。
• FaddeevはShannon第三条件から出発し、二項分割の繰り返しを経てこの一般的なChainルールを導きました（Lemma 6）[p.92], [p.96]。
• Leinsterは「関数Iが連続でChainルールを満たす」⟺「I = cH（cは実数定数）」を証明し、シャノン・エントロピーが連続性とChainルールのみで一意に特徴づけられることを確立します [p.98], [p.99]。
• シャノン・エントロピーがChainルールを満たすことは、∂(x) = −x log x と定義しH(p) = ∑∂(pᵢ)と書き直すことで、∂(xy) = ∂(x)y + x∂(y) というライプニッツ則（積の微分則）から直接証明できます [p.102], [p.107]。

---

■ Part 4: Baez：新しいエントロピー論の登場 — Entropy as a Functor

• この部の核心:

2011年のBaez・Fritz・Leinster論文「A Characterization of Entropy in Terms of Information Loss」を核として、エントロピーを「確率測度を保存する決定論的プロセスにおける情報損失」として特徴づける現代的アプローチを解説します。三つの公理（合成則・convex線形性・連続性）を満たす「情報損失関数F」は必ずF(f) = c·Loss(f) = c(S(p)−S(q))となり、シャノン・エントロピーが一意に導かれます [p.109], [p.110], [p.148]。

• 論理展開:
• 「確率測度を保存する関数f:(X,p)→(Y,q)」は常にエントロピーを減少させ（S(p) ≥ S(q)）、その差Loss(f) = S(p) − S(q) ≥ 0が「情報の損失」と定義されます [p.115], [p.118], [p.134]。
• プロセスが直列合成されるとき Loss(g∘f) = Loss(f) + Loss(g)、並列合成（確率λで選択）されるとき Loss(λf⊕(1−λ)g) = λLoss(f) + (1−λ)Loss(g) が成立します [p.136], [p.142]。
• 三公理（F(f∘g)=F(f)+F(g)、F(λf⊕(1−λ)g)=λF(f)+(1−λ)F(g)、Fの連続性）はそれぞれ「Fはカテゴリー FinProb から [0,∞) へのFunctor」「convex linearなFunctor」「連続なFunctor」として圏論的に再解釈されます [p.145], [p.148], [p.156], [p.158]。
• カテゴリー FinProb（確率分布をオブジェクト、測度保存写像を射とする圏）から [0,∞)（唯一のオブジェクト*を持ち、射の合成が加法で定まる圏）への連続convex線形Functorは、シャノン・エントロピーの定数倍に限るという定理が最終的な結論です [p.158], [p.159]。