MaruLaboでは、現在では日常的に誰もが使う言葉になっている「情報」について、あらためて考てみたいと思っています。そこでは、「エントロピー」という概念が基本的です。

MaruLaboでは、「エントロピー」をトピックスとして、継続的に取り上げていきます。

マルレク

情報とエントロピー入門

今回のセミナーは、技術者に「エントロピー」とは何かについて、基本的な知識を提供することを目的にしています。
重要なことは、「エントロピー」概念は、もっぱら抽象的な「科学の枠組み」にかかわる概念ではなかったということです。それは、それぞれの時代の具体的で実践的な「技術」と密接なつながりを持っていました。

情報とエントロピー

確率的な分布は、いろんなところに現れます。重要なことは、どんなところに現れる確率分布にも、我々はエントロピーという共通の構造を見出すことができるということです。その意味で、エントロピーは、「物質=エネルギー」とならんで、もっとも基本的な概念の一つです。

量子情報とエントロピー

20世紀は、科学・技術が飛躍的に発展した時代でした。特筆すべきは、20世紀前半の量子論・相対論の成立を画期とした科学的自然認識の拡大と、20世紀後半のコンピュータ・通信技術の成立・発展による、技術的情報世界の拡大です。
自然科学が対象とする「物質の世界」と、IT技術が対象にする「情報の世界」は、異なる世界のように見えます。ただ、21世紀の科学・技術は、この二つの世界の交差するところで発展するだろうと、丸山は考えています。

計算科学とエントロピー

今回のマルゼミ「計算科学とエントロピー — コロモゴロフ複雑性とアルゴリズム論的情報理論」では、ボルツマンやシャノンとは異なるエントロピーへのアプローチを取り上げます。「アルゴリズム論的情報理論 (“Algorithmic information theory”)」といわれるものです。
「アルゴリズム論的情報理論」は、計算科学でのチューリング=チャーチらの計算可能性の理論と、シャノンの情報理論とを結びつけようという試みです。

Bayesian推論と「最大エントロピー原理」

現代のBayesian理論の最大の貢献者は、 E.T.Jaynes です。相対エントロピー の重要性を最初に指摘したのも彼です。
このセクションでは、Jaynes の 「MAXENT = 最大エントロピー原理」を紹介します。
それは、統計理論の枠を超えて、科学の方法論、さらには、認識の理論としも、大きな影響力を持っています。

エントロピー論の現在

その見かけ上の抽象性にもかかわらず、エントロピーについての認識は、振り返ってみれば、つねにその時代の現実的で技術的な課題と深く結びついていたことには、特別の注意が必要です。「振り返ってみれば」と書きましたが、同時に、エントロピー論は、我々の未来の課題についての洞察も与えてくれると、僕は考えています。21世紀、エントロピー論は、大きく変わろうとしています。今回のセミナーでは、そうした変化の一端を紹介したいと思っています。

MMM

量子、情報、物理 — 量子情報と物理学入門  (片桐ゼミ)

誤り訂正符号の初歩—古典と量子 (小又ゼミ)

コンテンツの詳細

情報とエントロピー入門 目次

情報とエントロピー 目次

量子情報とエントロピー 目次

計算科学とエントロピー 目次