講演資料


講義資料スライドの表紙

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナーは、「エントロピー」という概念が19世紀から21世紀にかけて三度にわたって「再定義」されてきた歴史的変遷を軸に、情報理論・量子情報理論の本質を体感的に理解することを目指しています [p.5]。

問いの核心は、「なぜ、熱力学的なエネルギーを温度で割った量（エントロピー）が、情報の理論と結びつくのか？」という一点に集約されます [p.25]。この問いへの答えは、ボルツマンの墓碑銘 `S = k log W` という一行に秘められており、ミクロな状態の数の対数という「次元のない純粋な数」が、19世紀の熱力学・統計力学（ボルツマン）、20世紀の通信理論（シャノン）、そして21世紀の量子重力理論（ベッケンシュタイン、マルダセーナ、笠・高柳）という三つの全く異なる文脈で同一の数学的構造として再発見されてきたことが示されます [p.61], [p.99], [p.131]。

技術史的には、蒸気機関がカルノーらの熱力学研究を生み、電信・電話ネットワークがシャノンの情報理論を生んだように、科学と技術は相互に深く絡み合いながら進化してきました [p.19], [p.26]。そして今、量子もつれ（エンタングルメント）のエントロピーが時空構造そのものを縫い合わせているという発見は、相対論と量子論の統一という物理学最大の難問を解く鍵になりつつあります [p.151], [p.153]。

この変化は物性論・凝縮系物理という技術と直結した領域で展開されており [p.156]、量子コンピュータや超電導デバイスという実用技術への波及は、以前より短いリードタイムで訪れるだろうと講師は展望します [p.193]。本セミナーは「量子情報理論への入門」として、IT技術者が「今、科学の世界で何が急速に変わっているのか」を知るための羅針盤となることを目指しています [p.6]。

講義のロードマップ

■ Part 1: イノベーションと科学

  • この部の核心:

技術革新は科学的認識の変革に根ざしているという歴史的事実を確認します。蒸気機関・産業革命から電信・電話・インターネット・モバイル・クラウドに至るイノベーションの流れを俯瞰し、各技術変革の背後には必ず基礎科学のブレイクスルーがあったことを示します [p.9], [p.19]。

  • 論理展開:
  • ワット蒸気機関（1776年）とカルノーの熱力学（1828年）が産業革命の科学的基盤を形成 [p.21]
  • 1891年の電信ネットワークから2017年のグローバルネットワークへの拡張の背後にシャノン情報理論 [p.17], [p.18]
  • モバイルとクラウドが現代ITインフラの双柱であり、その先に「量子情報」の世界が来ている [p.16]

■ Part 2: エントロピーをイメージする

  • この部の核心:

「なぜ割れた卵は元に戻らないのか」「なぜ混ざったペンキは分離しないのか」という身近な問いを通じて、エントロピー増大則の直感的イメージを構築します。ミクロな状態の圧倒的な「数の非対称性」こそがエントロピー増大の本質であることを計算で示します [p.34], [p.41]。

  • 論理展開:
  • NxNxNのボックスモデルで、混合状態の可能な配置数が分離状態の配置数をX:Y=10^23個分上回ることを数値計算で確認 [p.41]
  • 「猿のタイピスト」の議論で、ランダムネスと複雑さの関係、原子論批判（キケロ）との接点を提示 [p.47], [p.66]
  • ガスの拡散モデルは直感的だが、宇宙スケール（重力・ブラックホール）ではこのイメージが維持できなくなることを指摘 [p.43]

■ Part 3: 19世紀 ボルツマン――統計力学とエントロピー

  • この部の核心:

`S = k log W` という式の導出過程を丁寧にたどり、エントロピーが「ミクロな状態数の対数」という情報論的な量に等しいことを示します。ボルツマン定数 `k` が熱力学的次元と情報論的次元をつなぐ唯一の「翻訳装置」であることを明らかにします [p.61], [p.63]。

  • 論理展開:
  • NボックスとK状態の組み合わせ数Wの計算からスターリング近似を経て `log W = -N Σ p_i log p_i` を導出 [p.86], [p.87], [p.88]
  • 分配関数（Partition Function）とラグランジェの未定乗数法によるエネルギー拘束下での最大エントロピー分布の導出 [p.90], [p.91], [p.92]
  • ボルツマンの原子論が当時の物理学界（マッハ）に攻撃され、1906年に悲劇的な死を迎えた歴史的背景 [p.64], [p.69]
  • フォン・ノイマンによる量子論的定式化 `S = -Tr(ρ log ρ)`（1932年）とシャノンへの「エントロピー」命名の助言 [p.96], [p.97]

■ Part 4: 20世紀 シャノン――情報理論とエントロピー

  • この部の核心:

シャノンが1948年に再発見したエントロピー `H(X) = -Σ p_i log p_i` は、「連続性・加法性・単調性・分岐独立性・1bitの正規化」という5条件を満たす唯一の関数として数学的に特徴づけられます [p.102], [p.103]。これはメッセージの圧縮限界・通信路の容量・符号誤り訂正の理論的基盤を一挙に与えます。

  • 論理展開:
  • ノイズのある二値対称チャンネルでの誤り訂正（多数決・ハミングコード）の問題設定 [p.29], [p.31]
  • シャノンエントロピーが「典型的メッセージ数 `2^{NH(X)}`」の指数として現れ、圧縮の最大量を与えることの証明 [p.109], [p.112]
  • ボルツマンとシャノンの対応（ガス↔メッセージ、ミクロ状態↔文字、セル上の確率分布↔アルファベット上の確率分布）の対比表 [p.110]
  • クロスエントロピー `H(p,q)`・相対エントロピー（KLダイバージェンス）・条件付きエントロピーの定義と意味 [p.121], [p.124], [p.126]

■ Part 5: 21世紀 エンタングルメントとエントロピー

  • この部の核心:

ベッケンシュタインによる「ブラックホールのエントロピーは地平の面積に比例する」という発見（1973年）から出発し、マルダセーナのAdS/CFT対応（1998年）、笠・高柳によるエンタングルメントエントロピーのホログラフィック導出（2006年）、ラームズダンクによる「時空はエンタングルメントで縫い合わされている」という仮説（2010年）、そしてマルダセーナ・サスキンドの「ER=EPR」仮説（2013年）へと至る21世紀の理論的革命を概観します [p.132], [p.143], [p.147], [p.151], [p.173]。

  • 論理展開:
  • サスキンドの計算：1bitの情報を持つフォトンがブラックホールに落ちると地平面積がプランク長の二乗（`h^2 ≈ 10^{-70}m²`）だけ増加する [p.134], [p.135], [p.136]
  • 「温度とは、1bitの情報が追加された時のシステムのエネルギー上昇である」という新しい情報/エネルギー観 [p.137]
  • 量子多体系のエンタングルメントエントロピーが「Area則」を満たすことでTensor Network（MPS・PEPS・MERA）による効率的な基底状態の計算が可能に [p.158], [p.159], [p.163]
  • 1935年のアインシュタインのEPR論文（エンタングルメントの発見）とER論文（ワームホールの発見）が、80年後に「ER=EPR仮説」として統合される [p.174], [p.177], [p.179], [p.180]

■ Part 6: なぜ、今、「情報理論」なのか

  • この部の核心:

「情報＝エントロピー」をキーコンセプトとして、場の量子論・凝縮系物性論・一般相対論・量子情報理論・複雑性理論などが急速に融合しつつある現代物理学の全体像を俯瞰します [p.187]。この変化が量子コンピュータや超電導デバイスという実用技術を短いリードタイムで生み出すと展望します [p.193]。

  • 論理展開:
  • サスキンドによる現代物理学の俯瞰図：場の量子論・超弦理論・凝縮系物性論・量子情報理論・複雑性理論が「It From Qbit」という旗印のもとで融合 [p.187], [p.191]
  • 科学革命→産業革命、電磁気学→電気の時代という歴史的先例に倣い、量子情報革命が21世紀のイノベーション基盤になるという見立て [p.192], [p.193]

■ Appendix A: 複雑さについて

  • この部の核心:

「複雑さ」を厳密に定式化するコルモゴロフの複雑性を紹介し、「ある対象を出力する最短プログラムの長さ」という定義の意義と限界を明らかにします。チャイティンの不完全性定理は、我々が具体的に把握できる複雑さに「驚くほど小さい上限L」が存在することを示します [p.201], [p.203], [p.206]。

  • 論理展開:
  • コルモゴロフ複雑性の定義：ある対象を出力する最短プログラムのサイズ [p.201]
  • チャイティンの定理：特定のビット列のコルモゴロフ複雑性がL以上であることを証明できないLが存在し、そのLは数キロバイト程度という驚くべき小ささ [p.203], [p.206]
  • P≠NP問題と量子計算複雑性（BQP・QMA）への拡張、ブラックホール情報問題との接点 [p.210], [p.216]

■ Appendix B: ディープラーニングとエントロピー

  • この部の核心:

TensorFlowの実装コードを参照しながら、ディープラーニングの損失関数として広く使われるクロスエントロピー・バイナリクロスエントロピーが、シャノンのエントロピー概念の直接的な応用であることを計算例を通じて確認します [p.222], [p.235], [p.257]。

  • 論理展開:
  • softmax関数が出力を確率分布（One-Hot-Vectorへの近似）に変換する仕組みと、その出力がPartition Functionと同じ数学的構造を持つことの指摘 [p.223], [p.230]
  • クロスエントロピー `H(p,q) = -Σ p(x) log q(x)` の計算例：p(x)がOne-Hot-Valueの場合、正解ラベルのq(i)のみが寄与し、q(i)→1のとき損失→0 [p.236], [p.243]
  • バイナリクロスエントロピーが通常のクロスエントロピーと異なり、分布全体の「近さ」を捉える理由と、ロジスティック回帰との対応 [p.246], [p.247]
  • TensorFlowの`sigmoid_cross_entropy_with_logits`における数値安定化のための式変形の詳細 [p.258]