情報とエントロピー入門
2021/05/29 マルレク基礎「情報とエントロピー入門」概要
今回のセミナーは、技術者に「エントロピー」とは何かについて、基本的な知識を提供することを目的にしています。
熱力学の中で登場した「エントロピー」という概念は、熱力学から統計力学、統計力学から量子力学という、19世紀から20世紀にかけての科学の枠組みの歴史的変化の中で中心的役割を果たします。
重要なことは、「エントロピー」概念は、もっぱら抽象的な「科学の枠組み」にかかわる概念ではなかったということです。それは、それぞれの時代の具体的で実践的な「技術」と密接なつながりを持っていました。
蒸気機関が先端技術であった時代にも（熱効率の最大化）、電信・電話・ラジオ・テレビが先端技術であった時代にも（通信効率の最適化）、エントロピーを最小にしようという試みが、技術的チャレンジの中心課題でした。今日の最先端技術である、いわゆる「AI」技術の中核も、クロス・エントロピーの最小化と考えることができます。
科学者だけでなく、技術者も、実践的な概念としてエントロピーを理解することが重要だと、僕は考えています。
セミナーでは、ボルツマンとシャノンのエントロピーを紹介します。
