エントロピー論とカテゴリー論

全体概要

本セミナー「エントロピー論とカテゴリー論」は、情報理論の古典的基盤であるシャノン・エントロピーを出発点としながら、現代数学の抽象的枠組みであるカテゴリー論（圏論）を用いてエントロピー概念を根底から捉え直すという、21世紀的な理論的探求を展開しています。

中心的な「問い」は、「エントロピーとは何か」という本質的な問いに対して、伝統的な公理論的アプローチを超え、「情報の損失」という操作的・プロセス論的視点から一意に特徴づけることができるか、というものです。この問いへの答えとして、2011年にBaez・Fritz・Leinsterが発表した論文「A Characterization of Entropy in Terms of Information Loss」が本セミナーの核心に位置づけられています。彼らの洞察は、エントロピーを確率分布のカテゴリー（FinProb）から実数のカテゴリー（[0,∞)）へのFunctorとして把握することで、三つの自然な公理から一意にシャノン・エントロピーを導出できることを示した点にあります。

さらに本セミナーは、この枠組みを相対エントロピーへと拡張します。2014年のBaez・Fritzの論文「A Bayesian Characterization of Relative Entropy」では、新たなカテゴリーFinStatを導入し、確率分布と「仮説」を組み合わせた射の構造を定義することで、相対エントロピーもまたFunctorとして特徴づけられることを示します。これはBayesian的学習・認識論のモデルとしても深い意味を持ちます。

加えて、Appendixではエントロピー概念の拡張として、Tsallis（q-対数）エントロピーおよびRényiエントロピーが論じられます。物理的アノマリーへの対応として導入されたこれらの拡張エントロピーが、同じカテゴリー論的マシンにおいて、実数の扱いを「q-対数」に置き換えるだけで自然に導出されることは、カテゴリー論的アプローチの驚くべき汎用性と威力を示しています。本セミナー全体は、エントロピーという概念が持つ普遍的な数理構造を、現代数学の最も洗練された言語によって照らし出す試みです。

---

講義のロードマップ

■ Part 1: 新しいエントロピー論の登場 ── Entropy as a Functor

• この部の核心:

シャノン・エントロピーをはじめとする代表的なエントロピーの従来の特徴づけを概観した上で、Baez・Fritz・Leinsterによる「情報の損失」という新たな視点からの特徴づけを詳述します。確率測度を保存する関数が常にエントロピーを減少させるという性質に着目し、その「損失」が満たすべき三つの公理（合成則・凸線形性・連続性）から一意にシャノン・エントロピーが導かれることを示します。これをカテゴリー論の言語で表現すれば、エントロピーはFinProbから[0,∞)へのFunctorに他ならないという宣言がこの部の到達点です。

• 論理展開:
• Shannon・Faddeev・Leinsterによる既存の特徴づけを整理し、Baezのアプローチとの違いを明確化します [p.10], [p.11], [p.12]。
• 確率測度を保存する関数の定義（$q_j = \sum_{i: f(i)=j} p_i$）と、それがエントロピーを減少させることを確認します [p.18], [p.19]。
• 直列・並列プロセスにおける「情報の損失」の振る舞い（$\text{Loss}(g \circ f) = \text{Loss}(f) + \text{Loss}(g)$、$\text{Loss}(\lambda f \oplus (1-\lambda)g) = \lambda\text{Loss}(f) + (1-\lambda)\text{Loss}(g)$）を導き、三公理を定式化します [p.35], [p.41], [p.43]。
• 三公理を満たすFunctorが一意に$F(f) = c \cdot \text{Loss}(f) = c(S(p) - S(q))$であることを示し、「Entropy as a Functor」の定理を確立します [p.47], [p.50], [p.52]。

---

■ Part 2: カテゴリー論的アプローチの基礎

• この部の核心:

Part 1の議論を支える数学的基盤を体系的に整備します。実数[0,∞)をカテゴリーとみなすLawvereのアイデアを出発点に、確率分布のカテゴリーFinProb、stochastic map、measure preserving function、確率分布の表現（1からの射1⇝X）、可換図形、そしてdisintegrationの概念を順に構築します。後半の相対エントロピー論に向けた設定として、二つの可換図形（$f \circ q = r$かつ$f \circ s = 1_Y$）が表す構造も提示されます。

• 論理展開:
• 実数[0,∞)を「射の合成が和で定義される、一つのオブジェクトしか持たないカテゴリー」として定義し、Lawvere（1973年）の起源を示します [p.63], [p.68]。
• stochastic map $f: X \rightsquigarrow Y$を確率行列として定義し、FinStochカテゴリーを構成します [p.70], [p.71], [p.72], [p.73], [p.138]。
• 射1⇝Xが確率分布を表すことを確認し、可換図形$r = f \circ q$がmeasure preserving functionの本質であることを示します [p.85], [p.99], [p.101]。
• 二つの可換条件（$f \circ q = r$かつ$f \circ s = 1_Y$）による「disintegration」の概念を提示し、FinStatの射の原型を提供します [p.104], [p.110]。

---

■ Part 3: 相対エントロピーのカテゴリー論的解釈

• この部の核心:

相対エントロピー $H_{\text{rel}}(q, p) = \sum_x q(x) \log \frac{q(x)}{p(x)}$ のカテゴリー論的特徴づけを展開します。新カテゴリーFinStatのオブジェクト（確率分布）と射（measure preserving function $f$と「仮説」としてのstochastic map $s$の対、条件$f \circ q = r$かつ$f \circ s = 1_Y$を満たすもの）を定義した上で、FinStatから[0,∞]へのFunctor REが相対エントロピーを一意に決定することを示します。

• 論理展開:
• 相対エントロピーのBayesian的解釈（仮説$p$と観測$q$の乖離、学習の終着点$H_{\text{rel}}(q,p)=0$）を動機として提示します [p.118], [p.119], [p.120], [p.121], [p.122]。
• FinStatのオブジェクト（1⇝Xの形の確率分布）と射（$f, s$の対）を定義し、$f \circ s = 1_Y$となる条件（「全ての$y$について$f(x)=y$でなければ$s_{xy}=0$」）を証明します [p.152], [p.154], [p.158], [p.159], [p.160]。
• FinStatの射の合成（$g \circ f$と$s \circ t$）を定義し、合成条件$g \circ f \circ q = u$かつ$g \circ f \circ s \circ t = 1_Z$の成立を確認します [p.161], [p.162]。
• FunctorとしてのREが射$(X,q) \xrightarrow{s,f} (Y,r)$に相対エントロピー$S(q, s \circ r)$を割り当てることを示します [p.117], [p.124]。

---

■ Appendix A: エントロピー概念の拡大

• この部の核心:

Tsallis（q-対数）エントロピーとRényiエントロピーを、カテゴリー論的マシンの枠組みで統一的に導出します。シャノン・エントロピーが$\log$を使うのに対し、$\log$を$q$-対数$\ln_q(x) = \frac{x^{1-q}-1}{1-q}$に置き換えることでTsallisエントロピーが得られること、さらにHill数$D_q = \exp H_q$を軸にRényi・Tsallis・Shannonの三者が統一的に関係づけられることを示します。

• 論理展開:
• Tsallisエントロピー$S_q = \frac{1}{q-1}(1-\sum_i p_i^q)$が物理的アノマリー解決のために導入された歴史的背景と、non-extensive性（$S_q(A,B) = S_q(A)+S_q(B)+(1-q)S_q(A)S_q(B)$）を示します [p.181], [p.183], [p.184]。
• Baez・Fritz・Leinsterの定理として、公理の第2条件を$K(\lambda f \oplus (1-\lambda)g) = \lambda^q K(f) + (1-\lambda)^q K(g)$に変えることでTsallisエントロピーの「情報損失」が導かれることを示します [p.190], [p.192]。
• $q$-対数$\ln_q$を積分$\int_1^x t^{-q}dt$として定義し、$S_q = \sum_i p_i \ln_q(1/p_i)$がTsallisの式と一致することを計算で確認します [p.208], [p.210], [p.211]。
• Hill数$D_q = \exp H_q$を介して$H_q = \log D_q$（Rényi）、$S_q = \ln_q D_q$（Tsallis）の統一的関係式を示し、カテゴリー論的マシンの汎用性を明示します [p.221], [p.223]。