情報とエントロピー
2021/06/26 マルゼミ「情報とエントロピー 」概要
今回のセミナーのメイン・ストーリーは、次のようなものです。
第一。確率的な分布は、いろんなところに現れます。重要なことは、どんなところに現れる確率分布にも、我々はエントロピーという共通の構造を見出すことができるということです。その意味で、エントロピーは、「物質＝エネルギー」とならんで、もっとも基本的な概念の一つです。
第二。確率的にしか物事を知り得ないということは、人間の主観の能力の特徴と深く結びついています。それは興味深いことです。ただ、それはそれ、これはこれ。エントロピーの法則は、人間の世界とは独立です。エントロピーは不断にその値を増大しようとします。
重要なことは、それにもかかわらず、エントロピーを、局所的には、減少させることが可能だということです。ただ、そのためにはエネルギーを注ぎ込むことが必要です。GAFAのデータセンターやビットコインの採掘者が膨大な電力を必要とするのも、スマホには充電が不可欠なのも、我々の誰もが、「腹がへっては仕事ができない」と考えているのも、同じことです。エントロピーの増大を抑えるためには、エネルギーが必要なのです。
第三。エントロピーは、技術の世界と深い結びつきがあります。技術は、もちろん、エネルギーの効率的利用に関心があるのですが、多くの技術は、エントロピーを減少させることと結びついています。ITの世界は、現代のそうした努力の中心舞台です。技術者は、18世紀の「スチーム・エンジニア」も、現代の「AIエンジニア」も、エントロピーを減少させるという、同じ課題に取り組んでいます。
第四。19世紀起源の古い科学であるエントロピー論は、まだ、オワコンではありません。時代は変化しても、新しい相貌のもとで繰り返し現れるエントロピーをめぐる謎は、最先端の科学のトピックの一つです。量子情報理論は、未来の科学で中心的な役割を果たすことになるでしょう。
公開セミナー情報
講演資料 「情報とエントロピー」
↓ pdfはスクロールで全文読めます
セミナー・ビデオの再生リスト (click me !)
解説資料
セミナーに向けたショート・ムービーの再生リスト (click me !)
確率分布とエントロピー
シャノン・エントロピー
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
blog:「自明」だが不毛な会話
ボルツマン・エントロピー」
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
blog: マクロとミクロ
エネルギーとエントロピー
分配間数 Z
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
blog: エネルギーとエントロピー
分配関数 Zの利用
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
blog: 数学の力
ディープ・ラーニングとエントロピー
相対エントロピーとその解釈
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
blog: 確率のBayesian解釈と「相対エントロピー」
ディープ・ラーニングと分配関数Zの利用」
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
blog: どんな確率分布にも対応する分配関数が存在する
量子情報とエントロピー
ノイマン・エントロピー
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
blog: エントロピーの量子版を考える
エネルギーと量子エントロピー ( slide )
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます
