情報とエントロピー入門

2021/05/29 マルレク基礎「情報とエントロピー入門」概要

今回のセミナーは、技術者に「エントロピー」とは何かについて、基本的な知識を提供することを目的にしています。

熱力学の中で登場した「エントロピー」という概念は、熱力学から統計力学、統計力学から量子力学という、19世紀から20世紀にかけての科学の枠組みの歴史的変化の中で中心的役割を果たします。

重要なことは、「エントロピー」概念は、もっぱら抽象的な「科学の枠組み」にかかわる概念ではなかったということです。それは、それぞれの時代の具体的で実践的な「技術」と密接なつながりを持っていました。

蒸気機関が先端技術であった時代にも(熱効率の最大化)、電信・電話・ラジオ・テレビが先端技術であった時代にも(通信効率の最適化)、エントロピーを最小にしようという試みが、技術的チャレンジの中心課題でした。今日の最先端技術である、いわゆる「AI」技術の中核も、クロス・エントロピーの最小化と考えることができます。

科学者だけでなく、技術者も、実践的な概念としてエントロピーを理解することが重要だと、僕は考えています。

セミナーでは、ボルツマンとシャノンのエントロピーを紹介します。

講演資料「情報とエントロピー入門」 Viewer

講演資料 ダウンロード

資料 Viewer / YouTube 

ボルツマンの悲劇

YouTube版

フォン・ノイマンがシャノンに囁いたこと

YouTube版

ボルツマンのエントロピーからシャノンのエントロピーを導く

YouTube版

シャノンが考えたこと

YouTube版

シャノンエントロピーの性質について

YouTube版

通信の世界でメッセージのエントロピーを考える

YouTube版

エントロピーをグラフィカルに表現する

YouTube版

クロスエントロピーをグラフィカルに表現する

YouTube版

講演ビデオ 「情報とエントロピー入門」

Part 1 「エントロピーの理論を振り返る」

Part 2 「統計力学とボルツマン・エントロピー」

Part 3 「情報理論とシャノン・エントロピー」

Part 4 「シャノン・エントロピーの通信技術への応用」