エントロピー論とカテゴリー論
エントロピー論とカテゴリー論
タイトルを「エントロピー論とカテゴリー論」に改題し、このテーマをあつかった以前のセミナー「エントロピー論の現在」の第四部も、このタイトルのページから参照できるようにしました。
先日「エントロピー論の現在」というセミナーを終えたばかりなのですが、いくつかのトピックを積み残してしまいました。
このセミナーは、"Entropy as a Functor" という新しいエントロピー論を展開したBaezの仕事の紹介で終わっているのですが、実は、ここからさまざまな動きが生まれてきます。本当は、「エントロピー論の現在」で注目すべきなのは、そうした動きなのですが …
「あとのまつり」ですが、「エントロピー論の現在・補遺」として、エントロピー論へのカテゴリー論の応用を中心に、いくつかのトピックの紹介を、すこしのあいだ続けたいと思っています。
【 エントロピー概念の一般化 】
Boltzmann-Gibbs-Shannonらが作り上げたエントロピー概念は、驚くべき生命力を持っています。ただ、それをより一般化しようという試みも存在します。もっとも、そうした一般化によって、17世紀に始まった古典力学が、20世紀には量子論・相対論に置き換わったようなパラダイムの転換が、エントロピー論の世界で起きた訳ではありません。
エントロピー論がこれまで経験した認識の最大の飛躍は、熱力学的エントロピーと情報論的エントロピーの「同一性」の認識です。それは、エントロピー概念の拡大・一般化というよりはむしろ、エントロピーの「遍在」の認識なのですが、極めて重要な意味を持っています。それは、エントロピー論ばかりではなく、新しい自然認識の基礎となっていくと思います。
6/25 マルゼミ「エントロピー論とカテゴリー論」講演資料
第一部：新しいエントロピー論の登場 -- Entropy as a Functor
「情報の損失」としてのエントロピー
( slide blog:「バエズはバエズのいとこ」)
測度を保存する関数と確率分布の表現 ∆ 𝑛 について
( slide blog:「coarse-graining (粗視化)と「情報の損失」」)
「情報の損失」の性質を考える
( slide blog:「これまでと、これからと)
「情報の損失」の性質を公理化し、シャノン・エントロピーの式を導く
( slide blog:「バエズが証明したこと」 )
Entropy as a Functor
( slide blog:「簡潔なのにはワケがある」)
第二部：エントロピー概念の一般化
Tsallis エントロピー
エントロピー概念の一般化としては、Tsallis エントロピーやRényiエントロピーというものがあります。今回は、Tsallis エントロピーを紹介します。見かけは随分Shannonエントロピーとは異なっています。
意外なことに、Tsallis エントロピーは、Shannonエントロピーを導出した全く同一の「カテゴリー・マシン」で（パラメータをすこし変えるだけで）、導出できるのです。
カテゴリーとして実数を捉える
( slide blog:「カテゴリーとして実数を捉える」)
ShannonエントロピーとTsallisエントロピーがFunctorであるという議論をしてきたのですが、そこでの重要な論点は、エントロピーが取る非負の実数[0, ∞)という値の範囲そのものが、カテゴリーとみなすことができるということです。
ただ、実数をカテゴリーとして捉えることができるということは、自明ではありません。
実数 [0,∞)をカテゴリーと見るアイデアは、1973年のF. W. Lawvereの論文 “Metric spaces, generalized logic and closed categories” によるものです。
Tsallis エントロピー = q-𝒍𝒐𝒈𝒂𝒓𝒊𝒕𝒉𝒎𝒊𝒄エントロピー
寒い日が続いて、風邪をひいてしまいました。
そういうわけで、今回は、カテゴリ〜論抜きでやさしい話です。Tsallis エントロピーの式を導いてみます。
風邪のせいか、証明間違えていました。修正版に差し替えました。
( slide )
RényiエントロピーとHill数
今回も、地道な計算が続きます。（風邪も抜けないし）
計算自体は、一直線ですが、式が汚いですね。あまり楽しくないと思います。
ただ、RényiエントロピーからHill number という量を導入すると、すこし式が整理されて、見通しが良くなります。
第三部：相対エントロピーのカテゴリー論的特徴づけ
相対エントロピー
新しいセッションを始めようと思います。
この連続セッションでは、相対エントロピーへのカテゴリー論的アプローチとして、BaezとFritzの2014年の論文 ”A Bayesian Characterization of Relative Entropy” を紹介します。
( slide blog:「相対エントロピーをカテゴリー論で捉えかえす」)
相対エントロピー 2 -- Stochastic map
今回は、関数ではない（その意味ではカテゴリー論らしい）、stochastiic mapを具体例を挙げてすこし丁寧に説明してみました。わかってしまえば簡単なことなのですが、是非、ゆっくり考えて貰えばと思います。
相対エントロピー 3 -- stochastic mapとFinProb
カテゴリー論が強力なのは、図形を見るだけで、その背後にある数学的関係を、別の推論に利用できるようになるからです。カテゴリー論の図形は具体的で、それを用いた推論も直観的なのですが、その図形の意味するところは、実は、抽象的なものです。
今回、図形（三角形の底辺のXからYへの矢印）の意味を、具体的に計算可能な形に書いてみました。やらずもがなと思いましたが、図形の抽象的な意味を具体的な例で納得することは、必要なことだと感じています。
相対エントロピー 4 -- FinStatと「仮説」
「相対エントロピー」は、これまでも人間の認識や学習のスタイルと結びつけて解釈されてきました。代表的なものは、「相対エントロピーのBayesian的解釈」と言われるものです。
今回のセッションの内容は、それらとはかなり違ったものにみえるかもしれません。ただ、人間の認識の過程を、数学的に表現しようという問題意識は共通のものです。ここで対象となっているのは、あるものを観察するという人間の認識過程です。
( slide blog:「観察プロセスをカテゴリー論で表現する」)
相対エントロピー 5 -- Functorとしての相対エントロピー
( slide blog:「AとBは同値でも …」)
基本用語を解説する
stochastic mapとmeasure preserving function
( slide blog:「路線変更 -- もっとわかりやすく！」)
「1からの射」と確率分布の表現
可換な図形
chain rule と convex linear
( slide blog:「chain rule と convex linear)
