講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「エントロピー論の現在」は、シャノン・エントロピーという一見シンプルな式 H(X) = −∑ pᵢ log pᵢ が、1948年の誕生以来、どのように数学的・哲学的に深化し続けてきたかを問う意欲的な講義です。
中心的な問いは「エントロピーとは何か、そしてそれをどのような条件から一意に導けるか」です。シャノンが通信システムの分析という工学的文脈から情報量の概念を構築したことを出発点とし、「選択の不確かさ」「情報の損失」「確率分布の合成」といった多様な視点からエントロピーが再解釈されてきた歴史的系譜をたどります。
技術史的な位置づけとして、1948年のShannon、1956年のFaddeev、そして2011年のBaez・Fritz・Leinsterによる「Entropy as a Functor」という現代的再定式化まで、約70年にわたる理論的進化が一本の糸で結ばれます。特に現代のアプローチでは、カテゴリー論（圏論）という数学の抽象的言語を用いることで、シャノン・エントロピーが「連続でChainルールを満たす唯一の関数」、あるいは「情報損失を測る連続なFunctor」として厳密に特徴づけられることが示されます。
探求の結論は明快です。エントロピーは単なる「不確かさの尺度」ではなく、確率分布上の決定論的プロセスにおいて失われる情報量を測る、構造的・関手的な量として理解できます。入力にシンプレックス（確率分布の空間）と実数軸を与えれば、シャノン・エントロピーの概念を出力する「カテゴリー論的マシン」が存在するという視点は、情報理論の根底を問い直す知的な衝撃をもたらします。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: シャノン・エントロピーの基本的な性質について
エントロピーの定義式を丁寧に確認し、H(X) ≥ 0・H(X) = 0となる条件・H(X)が最大となる条件・単位としての「bit」という4つの基本性質を直感的かつ厳密に把握します。「確率分布が与えられれば、エントロピーが決まる」という対応関係の明確化が、以降の議論の土台となります [p.34]。
■ Part 2: シャノンが考えたことを振り返る
シャノンが1948年の論文「A Mathematical Theory of Communication」においてエントロピーをいかに導いたかを原典に即して再構成します。「メッセージの意味ではなく選択の不確かさを測る」という根本的な発想転換と、そこから対数的尺度の必然性・三つの条件・エントロピーの式の導出に至る論理的流れが核心です [p.3839]。
■ Part 3: Faddeev-LeinsterのChainルール
1956年にFaddeevが定式化し、Leinsterが精緻化した「Chainルール」によるシャノン・エントロピーの特徴づけを解説します。「連続でChainルールを満たす関数は、シャノン・エントロピーの定数倍に限る」という定理は、エントロピーを確率分布の合成に関する構造的な量として捉え直す決定的な視点を提供します [p.8081]。
■ Part 4: Baez：新しいエントロピー論の登場 Entropy as a Functor
2011年のBaez・Fritz・Leinster論文「A Characterization of Entropy in Terms of Information Loss」を核として、エントロピーを「確率測度を保存する決定論的プロセスにおける情報損失」として特徴づける現代的アプローチを解説します。三つの公理（合成則・convex線形性・連続性）を満たす「情報損失関数F」は必ずF(f) = c·Loss(f) = c(S(p)−S(q))となり、シャノン・エントロピーが一意に導かれます [p.109110, p.148]。
ページのナビゲート