LLMと意味の理論モデル概説

全体概要

本セミナーは、「LLMと意味の理論モデル概説」と題し、大規模言語モデル（LLM）が示す驚異的な言語運用能力を理論的に説明しようとする一連の研究動向を俯瞰するものです。MaruLaboが夏以降に展開する連続セミナー「LLMの理論モデルの新しい展開」の導入編として位置づけられており、今後の個別セミナーを理解するための基本的な準備を目的としています [p.4]。

セミナーが提起する中心的な問いは、「LLMはなぜ、構造化されていないテキストデータだけから、文法・意味・世界知識を獲得できるのか」というものです [p.100]。この問いに対し、現在最も注目される三つの研究潮流——Bradleyらによるmagnitude概念を用いた意味の距離空間モデル、CoeckeらによるQNLPの量子コンピュータ実装、VlassopoulosらによるLLMの内部動作の数学的解析——が紹介されます [p.6]。

理論的背景として特に重視されるのが、Tai-Danae BradleyとBob Coeckeという二人の研究者が築いてきた先行研究です。Bradleyのcopresheafベースのenrichedカテゴリー論的意味論と、Coeckeのcompact closed categoryを用いたQNLPは、ともに「言語データには構造的プライア（structural prior）が先在的に内在する」という共通の信念のもとに立っており、現在のTransformerベースのブラックボックス的手法への批判的視座を提供します [p.38], [p.52]。

Bradleyの理論発展の軌跡を追うことがPart 3・Part 4の核心です。2018年のDisCoCat解説論文から出発し、2020年のDisCoCat批判論文でLLMの現実に向き合い、2021年のenriched copresheaf意味論、そして2025年のmagnitude理論へと続く発展をたどることで、「意味の理論モデルとはいかなるものか」という問いに対する彼女の探求の深まりが明確に見えてきます [p.62]。特に2021年の論文が構築したcopresheaf意味論の骨格——言語のpreorderカテゴリーL、米田埋め込みによるL→Set^Lの対応、論理演算の意味解釈——は、以降のすべての発展の基盤をなすものとして詳細に解説されます [p.116]。

---

講義のロードマップ

■ Part 1: LLMの理論モデルの新しい展開

• この部の核心:

現在活発に議論されているLLMの理論モデルの三つの主要潮流を概観し、それぞれが用いる数学的ツールの特徴を紹介します。この連続セミナー全体のロードマップとなる部分であり、Bradley（magnitude/enrichedカテゴリー）、Coecke（ZX-calculus/QNLP）、Vlassopoulos（Tropical代数）という三者の研究が互いにどう関連するかが示されます [p.6], [p.10]。

• 論理展開:
• Bradleyらは確率論的テキストモデルにenriched categoryを適用し、magnitudeベースの意味距離空間を構築した [p.7]。
• CoeckeらはZX-calculusを軸にQNLPの量子コンピュータ実装を着実に進めており、surface codeの発展が追い風となっている [p.8], [p.15]。
• VlassopoulosらはLLMの内部動作をTropical代数で解析し、Bradleyの意味モデルを支持する結果を得た [p.9], [p.18], [p.21]。
• magnitudeはエントロピー論と深く関連し、シャノン・エントロピーとの接続が分配関数レベルで議論される [p.11]。

---

■ Part 2: 新しい展開の背景を探る

• この部の核心:

LLMの理論的新展開を支える理論的・実践的背景を探ります。BradleyとCoeckeという二つの先行研究が共有する「構成性（compositionality）の重視」「カテゴリー論の利用」という共通性を整理し、現在主流のTransformer意味論が抱える三つの根本的問題——説明可能性の欠如、文脈依存性の暗黙的処理、力まかせのスケール依存——を批判的に論じます [p.31], [p.47], [p.49], [p.52]。

• 論理展開:
• BradleyとCoeckeは「言語データに構造的プライアが先在する」という認識を共有し、Transformer的アプローチへの共通批判を形成する [p.38]。
• Transformerの自己アテンションは暗黙的・ソフトな合成であり、合成的一般化に課題がある；Bradley的copresheafは大域的・静的な意味を提供し、アテンションの近似理想形とも解釈できる [p.49], [p.51]。
• Bradleyは2024年のAMS論文で「現在のニューラル言語モデルは必然的に働く構造的特徴を明らかにしていない」と明示的に批判している [p.44]。
• 両者のアプローチは「より少ないデータから効率的に学習し汎化する」構造的プライア組み込みの可能性を示唆する [p.53]。

---

■ Part 3: Bradleyの理論の発展をたどる

• この部の核心:

「意味の分散表現論の系譜」という歴史的文脈の中にBradleyの研究を位置づけ、彼女が2018年のDisCoCat解説から2020年のDisCoCat離脱へと転換した動機を詳細に明らかにします。CoeckeのDisCoCatモデルの数学的構造（PreGroupGrammar→FVect間のfunctor）を丁寧に解説し、なぜそれが「構造化されていないテキスト」を扱うLLMの現実と衝突したかを示します [p.67], [p.72], [p.97]。

• 論理展開:
• 2003年Bengioの分散表現から2022年ChatGPTまでの年表の中で、Coeckeの2010年DisCoCat論文はWord2Vec（2013年）より3年先行していた [p.68]。
• DisCoCatはPregroup GrammarとFVectがともにcompact closed categoryであることを利用してfunctor F: PregX→FVectを構成、文 "banana is fruit" の意味を19741として計算してみせた [p.80], [p.85], [p.95]。
• Bradleyは「LLMは文法的・意味的な入力なしに複雑な構文・意味・世界知識を学習する」という現実を直視し、文法解析を前提とするDisCoCatの限界を宣言した [p.101], [p.108]。
• 2020年論文で彼女が問うた「どのような数学的構造が非構造化テキストに存在するか」という問いが、以降の理論構築の出発点となる [p.103]。

---

■ Part 4: Bradleyのcopresheaf意味論

• この部の核心:

2021年論文の前半が展開するcopresheaf意味論の核心——言語のpreorderカテゴリーL、Firth的意味観に基づくL(x,-)によるhom functor表現、functor category Set^Lとしての意味のカテゴリー、そして米田埋め込みによるL→Set^Lの対応——を段階的に構築します。さらに論文後半で[0,1]によるenrich化を通じてLLMの確率モデルと接続し、2025年の[0,∞]によるenrich化（magnitude理論）への橋渡しを行います [p.115], [p.116], [p.122]。

• 論理展開:
• 言語の表現間の部分文字列関係を preorder として捉え、言語のカテゴリーLを構成する；Firthの"You shall know a word by the company it keeps"がこの意味論の哲学的基盤となる [p.122], [p.129]。
• 語xの意味をhom functor L(x,-): L→Set として定義し、copresheaf Set^Lが意味のカテゴリーとなる；"red or blue"はL(red,-)⊔L(blue,-)（coproduct）、"red and blue"はL(red,-)×L(blue,-)（product）で自然に表現される [p.133], [p.159], [p.162]。
• [0,1]によるenrich化でhom setが確率値を取るようになり、射red→red firetruck に0.12、red→red idea に0.003といった条件付き確率π(T|S)が付与される；これはLLMが計算している確率そのものである [p.168], [p.179]。
• enrich化されたcoproductにmaxが現れることはTropical代数との類似を示し、VlassopoulosらのLLM内部解析との接続点となる；2025年論文は[0,∞]enrichによるmagnitude・magnitude homologyへと発展する [p.182], [p.183], [p.184]。