講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「エントロピー論とカテゴリー論」は、情報理論の古典的基盤であるシャノン・エントロピーを出発点としながら、現代数学の抽象的枠組みであるカテゴリー論（圏論）を用いてエントロピー概念を根底から捉え直すという、21世紀的な理論的探求を展開しています。
中心的な「問い」は、「エントロピーとは何か」という本質的な問いに対して、伝統的な公理論的アプローチを超え、「情報の損失」という操作的・プロセス論的視点から一意に特徴づけることができるか、というものです。この問いへの答えとして、2011年にBaez・Fritz・Leinsterが発表した論文「A Characterization of Entropy in Terms of Information Loss」が本セミナーの核心に位置づけられています。彼らの洞察は、エントロピーを確率分布のカテゴリー（FinProb）から実数のカテゴリー（[0,∞)）へのFunctorとして把握することで、三つの自然な公理から一意にシャノン・エントロピーを導出できることを示した点にあります。
さらに本セミナーは、この枠組みを相対エントロピーへと拡張します。2014年のBaez・Fritzの論文「A Bayesian Characterization of Relative Entropy」では、新たなカテゴリーFinStatを導入し、確率分布と「仮説」を組み合わせた射の構造を定義することで、相対エントロピーもまたFunctorとして特徴づけられることを示します。これはBayesian的学習・認識論のモデルとしても深い意味を持ちます。
加えて、Appendixではエントロピー概念の拡張として、Tsallis（q-対数）エントロピーおよびRényiエントロピーが論じられます。物理的アノマリーへの対応として導入されたこれらの拡張エントロピーが、同じカテゴリー論的マシンにおいて、実数の扱いを「q-対数」に置き換えるだけで自然に導出されることは、カテゴリー論的アプローチの驚くべき汎用性と威力を示しています。本セミナー全体は、エントロピーという概念が持つ普遍的な数理構造を、現代数学の最も洗練された言語によって照らし出す試みです。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: 新しいエントロピー論の登場 ── Entropy as a Functor
シャノン・エントロピーをはじめとする代表的なエントロピーの従来の特徴づけを概観した上で、Baez・Fritz・Leinsterによる「情報の損失」という新たな視点からの特徴づけを詳述します。確率測度を保存する関数が常にエントロピーを減少させるという性質に着目し、その「損失」が満たすべき三つの公理（合成則・凸線形性・連続性）から一意にシャノン・エントロピーが導かれることを示します。これをカテゴリー論の言語で表現すれば、エントロピーはFinProbから[0,∞)へのFunctorに他ならないという宣言がこの部の到達点です。
■ Part 2: カテゴリー論的アプローチの基礎
Part 1の議論を支える数学的基盤を体系的に整備します。実数[0,∞)をカテゴリーとみなすLawvereのアイデアを出発点に、確率分布のカテゴリーFinProb、stochastic map、measure preserving function、確率分布の表現（1からの射1⇝X）、可換図形、そしてdisintegrationの概念を順に構築します。後半の相対エントロピー論に向けた設定として、二つの可換図形（$f \circ q = r$かつ$f \circ s = 1_Y$）が表す構造も提示されます。
■ Part 3: 相対エントロピーのカテゴリー論的解釈
相対エントロピー $H_{\text{rel}}(q, p) = \sum_x q(x) \log \frac{q(x)}{p(x)}$ のカテゴリー論的特徴づけを展開します。新カテゴリーFinStatのオブジェクト（確率分布）と射（measure preserving function $f$と「仮説」としてのstochastic map $s$の対、条件$f \circ q = r$かつ$f \circ s = 1_Y$を満たすもの）を定義した上で、FinStatから[0,∞]へのFunctor REが相対エントロピーを一意に決定することを示します。
ページのナビゲート