「エントロピー」関連ページ

今回のセミナーは、技術者に「エントロピー」とは何かについて、基本的な知識を提供することを目的にしています。
重要なことは、「エントロピー」概念は、もっぱら抽象的な「科学の枠組み」にかかわる概念ではなかったということです。それは、それぞれの時代の具体的で実践的な「技術」と密接なつながりを持っていました。

確率的な分布は、いろんなところに現れます。重要なことは、どんなところに現れる確率分布にも、我々はエントロピーという共通の構造を見出すことができるということです。その意味で、エントロピーは、「物質＝エネルギー」とならんで、もっとも基本的な概念の一つです。

20世紀は、科学・技術が飛躍的に発展した時代でした。特筆すべきは、20世紀前半の量子論・相対論の成立を画期とした科学的自然認識の拡大と、20世紀後半のコンピュータ・通信技術の成立・発展による、技術的情報世界の拡大です。
自然科学が対象とする「物質の世界」と、IT技術が対象にする「情報の世界」は、異なる世界のように見えます。ただ、21世紀の科学・技術は、この二つの世界の交差するところで発展するだろうと、丸山は考えています。

今回のマルゼミ「計算科学とエントロピー — コロモゴロフ複雑性とアルゴリズム論的情報理論」では、ボルツマンやシャノンとは異なるエントロピーへのアプローチを取り上げます。「アルゴリズム論的情報理論 (“Algorithmic information theory”)」といわれるものです。
「アルゴリズム論的情報理論」は、計算科学でのチューリング＝チャーチらの計算可能性の理論と、シャノンの情報理論とを結びつけようという試みです。

現代のBayesian理論の最大の貢献者は、 E.T.Jaynes です。相対エントロピー の重要性を最初に指摘したのも彼です。
このセクションでは、Jaynes の 「MAXENT ＝ 最大エントロピー原理」を紹介します。
それは、統計理論の枠を超えて、科学の方法論、さらには、認識の理論としも、大きな影響力を持っています。

その見かけ上の抽象性にもかかわらず、エントロピーについての認識は、振り返ってみれば、つねにその時代の現実的で技術的な課題と深く結びついていたことには、特別の注意が必要です。「振り返ってみれば」と書きましたが、同時に、エントロピー論は、我々の未来の課題についての洞察も与えてくれると、僕は考えています。21世紀、エントロピー論は、大きく変わろうとしています。今回のセミナーでは、そうした変化の一端を紹介したいと思っています。

"Entropy as a Functor" という新しいエントロピー論を展開したBaezの仕事に触発されて、エントロピー論へのカテゴリー論の応用が活発に展開されています。

このページは、Baezの議論の紹介をを中心に、エントロピー論とカテゴリー論の接点を探ります。