講演資料
講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。
全体概要
本セミナー「LLMのマグニチュード論 1」は、Tai-Danae Bradleyによる2025年の論文「The Magnitude of Categories of Texts Enriched by Language Models」（arxiv:2501.06662）の前半部分を丁寧に読み解くことを目的とした、連続セミナーの第一回目です [p.5]。
このセミナーが立てる中心的な問いは、「LLMは内部でどのような確率計算を行っているのか」、そして「その確率計算はenrichedカテゴリー論の言葉でどのように定式化されうるのか」という二点に集約されます。
現在のLLMの振る舞いの最もプリミティブな核心は、Transformerがあるトークンの次に来るトークンの確率を計算し、そのトークンを選び出す確率的サンプリングにあります [p.18]。この事実は広く知られています。しかし「確率的サンプリングの連続が、なぜ言語の意味の理解として現れるのか」を説明することは簡単ではなく、「LLMはブラックボックスだ」という批判が生まれる土台ともなっています [p.19]。
Bradleyの2022年論文 [p.20] は、言語Lにおいてトークンxの後に出現できるすべてのトークンをL(x,-)で表し「これがxの意味だ」とするco-presheaf意味論を導入し、enrichedカテゴリーの手法でLLMと同様に[0,1]の確率値を射に付与する画期的なフレームワークを構築しました。ただし、π(y|x)の具体的な計算方法は明示されていませんでした。
2025年の論文はこの空白を埋めます。文頭トークン「⊥」と文末トークン「†」を導入し、有限のコンテキストサイズ（カットオフN）のもとで、プロンプトxに対するLLMの出力yの確率π(y|x)が、次トークン確率の積として厳密に定義され、かつ終端状態集合T(x)上で確率質量関数となることが証明されます [p.32], [p.49]。これにより[0,1]-カテゴリー ℒ および[0,∞]-カテゴリー ℳ（Lawvereの一般化された距離空間）がLLMから自然に導出され、マグニチュード理論への橋渡しが完成します [p.95], [p.101], [p.104]。
産業革命が熱力学を生み、エントロピーが情報科学の中心概念となったように、LLMの理論的探究がエントロピーと深く結びついたマグニチュードの理論を呼び込みつつあるという歴史的射程もセミナーは示唆しています [p.25]。
講義のロードマップ
■ Part 1: BradleyのLLMモデル論概要
- この部の核心:
Bradleyの2025年論文が解決しようとする二つの課題——「2022年LLMモデルの拡大」と「LLMとマグニチュード論の結合」——の全体像を俯瞰し、今回のセミナーが論文前半の「モデルの拡大」に集中することを位置づけます [p.6]。2022年モデルの限界（π(y|x)の非明示性）と、2025年論文が⊥・†・カットオフNを導入することでその限界を突破する方向性が示されます [p.10], [p.11]。
- 論理展開:
- 論文は「LLMモデルの拡大」と「マグニチュードとの結合」という二部構成をとる [p.9], [p.12]
- 2022年論文はco-presheaf意味論を確立したがπ(y|x)の具体的構成を欠いていた [p.10]
- 2025年論文は⊥・†・カットオフNを組み込み、π(-|x)が確率質量関数となることを新たに証明する [p.11]
- LLMとマグニチュード・エントロピーの結合という科学史的意義が示される [p.24], [p.25]
■ Part 2: LLMの確率計算
- この部の核心:
本セミナーの数理的中核部分です。有限アルファベットA上の自由半群A\*からトークン・テキスト・部分カテゴリーを定義し [p.33]〜[p.37]、LLMの実際のステップごとの動作（次トークン確率の生成→サンプリング→終了判定）を厳密に定式化します [p.39]〜[p.41]。π(y|x)を次トークン確率の積として定義し [p.45]、それが終端状態集合T(x)上で確率質量関数となること——命題1——を帰納法で証明することがこのPartのゴールです [p.49]〜[p.76]〜[p.81]。
- 論理展開:
- カテゴリーLのオブジェクト（未完成/完成テキスト）・射・階層構造・部分カテゴリーLₓを定義する [p.35]〜[p.37]
- 終端状態集合T(x)を「長さNの未完成テキスト、または|y|≤Nの完成テキスト」として定義する [p.42]
- π(y|x)を次トークン確率の積として定義2で与える [p.45], [p.63]
- 命題1（∑_{y∈T(x)} π(y|x) = 1）を帰納法（m=N−|x|に関する）で、式(3)→(4)→(5)→(6)の変形チェーンで証明する [p.76]〜[p.81]〜[p.112]〜[p.128]
■ Part 3: Enrichedカテゴリー論とLLMモデルの拡大
- この部の核心:
命題1で確立されたπ(y|x)を使い、LLMからenrichedカテゴリーを具体的に構成します。可換monoidal前順序の定義（定義3・4）を基盤に [p.92]、単位区間[0,1]上のenrichedカテゴリー ℒ（ℒ(x,y):=π(y|x)）と、対数変換d(x,y):=−lnπ(y|x)を距離とする[0,∞]上のenrichedカテゴリー ℳ（Lawvereの一般化された距離空間）を導出します [p.95]〜[p.101]〜[p.104]。これにより次回のマグニチュード計算への準備が整います [p.106]。
- 論理展開:
- [0,1]と[0,∞]の二つのmonoidal前順序の具体例を確認する [p.93]
- 式(7): π(y|x)·π(z|y)=π(z|x) を証明し、ℒが[0,1]-カテゴリーの公理を満たすことを検証する [p.96]〜[p.97]
- −lnによる変換でℒから ℳ を得、三角不等式・d(x,x)=0 が成立することを確認する [p.103]
- 「プロンプトxを拡張する可能性が高いテキストはxに近く、xの拡張でないテキストは無限遠にある」という距離の直観を与える [p.104]
■ Appendix A: 命題1の証明詳細
- この部の核心:
Part 2で概要を示した命題1の証明を、式(3)から式(6)への変形チェーンとして完全に展開します [p.112]〜[p.128]。核心は「終端状態を完成テキストと長さNの未完成テキストに分類し、パス確率を次トークン確率の積に分解し、次トークン確率分布の全体和が1であることを利用して帰納法ステップを閉じる」という構造です。
- 論理展開:
- 式(3)：∑_{y∈T(x)} π(y|x) を完成テキスト項と未完成テキスト項に分解 [p.112]
- 式(3)→(4)：長さmの文字列 a をa=a'a''（a'∈A^{m-1}, a''∈A）に分解してπ(xa|x)=π(xa'|x)·p(a''|xa')と展開 [p.113]〜[p.117]
- 式(4)→(5)：i=m-1項を分離し、π(xa†|x)=π(xa|x)·p(†|xa)の書き直しで†項を第2項に統合 [p.118]〜[p.125]
- 式(5)→(6)：∑_{a''∈A∪{†}} p(a''|xa')=1を適用して第2項を簡略化し、帰納法仮定により=1を導く [p.126]〜[p.128]
■ Appendix B: 命題7（式(7)）の証明詳細
- この部の核心:
[0,1]-カテゴリー ℒ の合成公理の検証に使われる等式 π(y|x)·π(z|y)=π(z|x) を、定義2を直接展開することで完全に証明します [p.130]〜[p.135]。