エントロピー論の現在

2022/05/28 マルゼミ「エントロピー論の現在」概要

5月のマルゼミは、「エントロピー論の現在」というテーマで開催します。

熱力学的「エントロピー」は、産業革命の原動力となった蒸気機関の効率化の取り組みのなかで、19世紀に経験的に発見されたものです。熱力学は、19世紀末には、ボルツマンらの統計力学手法で整理されます。統計力学は、20世紀の原子論・化学反応論・量子力学の成立を準備します。

20世紀の自然認識は、量子論と相対論によって飛躍します。30年代には、ヒルベルト空間論に基づく量子力学の数学的基礎づけがフォン・ノイマンによって行われます。このノイマンの仕事は、量子力学的「エントロピー」を定義したものでした。

20世紀の技術を特長づけるものの一つは、通信技術の一貫した発展です。電信・電話・ラジオ・テレビ、… 。

20世紀の半ば、シャノンは、情報理論的「エントロピー」を発見します。シャノンの情報理論は、ノイズのある情報路での誤り訂正・通信量を削減する情報圧縮・暗号化等の技術に応用され、20世紀の通信技術の基礎となります。

20世紀末には、通信技術はコンピュータ技術と融合してインターネットの世界を生み出します。その上でのGAFAの成立と成功は、21世紀初頭の社会・経済を特長づけるものでした。

  「エントロピーって何?」

たしかに、エントロピーは、エネルギーよりわかりにくい概念かもしれません。蒸気機関のエントロピーとインターネットのエントロピーには、ほとんど共通するものがないようにも見えます。

しかし、その見かけ上の抽象性にもかかわらず、エントロピーについての認識は、振り返ってみれば、つねにその時代の現実的で技術的な課題と深く結びついていたことには、特別の注意が必要です。

「振り返ってみれば」と書きましたが、同時に、エントロピー論は、我々の未来の課題についての洞察も与えてくれると、僕は考えています。

この地球には、8種の大型猿がいるそうです。ただ、そのうちの一種だけで、大型猿8種の個体数の99.99%を占めているそうです。その一種とは、もちろん、僕ら「人類」のことです。僕らが「生物多様性」に関心を持ち始めたとき、地質学的「人新世」への変化は始まっていました。「人新世」が、人間のいない世界にならないことを願っています。

現代の「エントロピー論」の代表的教科書(になるだろうと僕が思っているだけです)が 蒸気機関でもインターネットでもなく、「エントロピーと多様性」というタイトルであることは偶然ではないと思います。

https://www.amazon.co.jp/Entropy-Diversity-Axiomatic-Tom-Leinster/dp/1108965571
https://arxiv.org/pdf/2012.02113.pdf

21世紀、エントロピー論は、大きく変わろうとしています。今回のセミナーでは、そうした変化の一端を紹介したいと思っています。

具体的には、シャノン・エントロピーをどのように特長づけ、その特徴からシャノン・エントロピーの式をどのように導いたかにフォーカスしたいと思います。

まず、1948年のシャノンの論文を振り返ります。ついで、新しいエントロピー論の扉を開いた、2011年のバエズらの論文を紹介しようと思います。

J. Baez, T. Fritz, and T. Leinster. A characterization of entropy in terms of information loss. Entropy, 13:1945–1957, 2011.
https://arxiv.org/pdf/1106.1791.pdf

「エントロピー論の現在」へのお誘い -- ショートムービー

マルゼミ「エントロピー論の現在」へのお申し込みは、こちらからお願いします。

セミナー解説資料

第一部 シャノン・エントロピーの基本的な性質について

確率分布とシャノン・エントロピー

( slide blog:「実際に、シャノンのエントロピーを計算してみよう !」 )

シャノン・エントロピーの性質について 1-2

( slide blog:「シャノン・エントロピーは、マイナスにならない」)

シャノン・エントロピーの性質について 3-4

( slide blog:「bit はエントロピーの単位である」)

第二部 シャノンが考えたことを振り返る

なぜ情報の尺度に対数が現れるのか?

( slide blog:「なぜ情報の尺度に対数が現れるのか?」)

選択と不確かさとエントロピー -- エントロピーが満たすべき条件を考える

( slide blog:「「サプライズ」としての情報量

エントロピーが満たすべき条件とそれから導かれる関数等式

( slide blog:「論文を読んで分かることと分からないこと」)

シャノンは、どのようにエントロピーの式を導出したのか (1)

( slide blog:「確率分布を木で表し、選択の継起を継ぎ木で表す」)

シャノンは、どのようにエントロピーの式を導出したのか (2)

( slide blog:「A(n) = Klog(n) からエントロピーの式を導く」)

第三部 現代のエントロピー論の発展

Chainルールとは何か?

( slide blog:「Chain ルールにもいろいろある」)

Chainルールでシャノン・エントロピーを特徴づける

( slide blog:「驚くべく発見」)

参考資料

MaruLabo 「エントロピー」関連ページ

情報とエントロピー入門

情報とエントロピー

量子情報とエントロピー

計算科学とエントロピー

「エントロピー論の現在」