情報とエントロピー

2021/06/26 マルゼミ「情報とエントロピー 」概要

今回のセミナーのメイン・ストーリーは、次のようなものです。

第一。確率的な分布は、いろんなところに現れます。重要なことは、どんなところに現れる確率分布にも、我々はエントロピーという共通の構造を見出すことができるということです。その意味で、エントロピーは、「物質=エネルギー」とならんで、もっとも基本的な概念の一つです。

第二。確率的にしか物事を知り得ないということは、人間の主観の能力の特徴と深く結びついています。それは興味深いことです。ただ、それはそれ、これはこれ。エントロピーの法則は、人間の世界とは独立です。エントロピーは不断にその値を増大しようとします。

重要なことは、それにもかかわらず、エントロピーを、局所的には、減少させることが可能だということです。ただ、そのためにはエネルギーを注ぎ込むことが必要です。GAFAのデータセンターやビットコインの採掘者が膨大な電力を必要とするのも、スマホには充電が不可欠なのも、我々の誰もが、「腹がへっては仕事ができない」と考えているのも、同じことです。エントロピーの増大を抑えるためには、エネルギーが必要なのです。

第三。エントロピーは、技術の世界と深い結びつきがあります。技術は、もちろん、エネルギーの効率的利用に関心があるのですが、多くの技術は、エントロピーを減少させることと結びついています。ITの世界は、現代のそうした努力の中心舞台です。技術者は、18世紀の「スチーム・エンジニア」も、現代の「AIエンジニア」も、エントロピーを減少させるという、同じ課題に取り組んでいます。

第四。19世紀起源の古い科学であるエントロピー論は、まだ、オワコンではありません。時代は変化しても、新しい相貌のもとで繰り返し現れるエントロピーをめぐる謎は、最先端の科学のトピックの一つです。量子情報理論は、未来の科学で中心的な役割を果たすことになるでしょう。

講演資料 「情報とエントロピー」 (ダウンロード

解説資料

「確率分布とエントロピー 

シャノン・エントロピー ( slide )

blog:「自明」だが不毛な会話

ボルツマン・エントロピー」 ( slide )

blog: マクロとミクロ

エネルギーとエントロピー 

分配間数 Z (slide )

blog: エネルギーとエントロピー

分配関数 Zの利用 (slide )

blog: 数学の力

ディープ・ラーニングとエントロピー 

相対エントロピーとその解釈 ( slide )

blog: 確率のBayesian解釈と「相対エントロピー」

ディープ・ラーニングと分配関数Zの利用」 ( slide )

blog: どんな確率分布にも対応する分配関数が存在する

量子情報とエントロピー 

 ノイマン・エントロピー ( slide )

blog: エントロピーの量子版を考える

エネルギーと量子エントロピー ( slide )

講演ビデオ 「情報とエントロピー」

Part 1 確率分布とエントロピー

Part 2 エネルギーとエントロピー

Part 3 ディープ・ラーニングとエントロピー


Part 4 量子情報とエントロピー