大規模言語モデルの数学的構造 I

全体概要

本セミナー「大規模言語モデルの数学的構造 I ── 言語へのカテゴリー論的アプローチ入門」は、現代の大規模言語モデル（LLM）が「なぜあれほど巧みに言語を扱えるのか」という根本的な問いに対し、カテゴリー論という純粋数学の言語を用いて迫ろうとする野心的な試みです [p.1], [p.2]。

セミナーが出発点に置くのは、Tai-Danae Bradleyらが2021年に発表した論文「An enriched category theory of language: from syntax to semantics」です [p.92]。この論文は、大規模言語モデルが「構造化されていないテキストデータの相関関係から完全に構築されている」という驚くべき事実に数学的な説明を与えようとするものです [p.76]。

本セミナーの知的背景は深く、ウィトゲンシュタインの「意味の使用説」、ファースの「意味の文脈依存性（You shall know a word by the company it keeps）」、そしてCoeckeらによるDisCoCat（構成的分散意味論）という三つの思想的・数学的系譜が交錯します [p.13], [p.15], [p.35]。DisCoCatはPregroup文法とFVectというカテゴリーをFunctorで結ぶ優れた枠組みでしたが、文法的解析を前提とするため、生の平文テキストを入力とするLLMには直接適用できませんでした [p.84]。

そこでTai-Danaeが採用したのは、pregroupという強い代数的仮定を捨て、言語テキストが持つ最もプリミティブな構造である「前順序（preorder）」のみを出発点とするアプローチです [p.114]。言語を前順序のカテゴリーLとして捉え、そこからYoneda embeddingによって「意味のカテゴリー（copresheaf）」への対応を自動的に導く構成は、ファースの分散意味論の考えをカテゴリー論的に実装したものといえます [p.173], [p.182]。さらに、このカテゴリーの射に確率を付与する（enriched category化する）ことで、LLMが学習する表現の継続・連続性や、文法性そのものを数学的にモデル化する道が開かれます [p.188], [p.196]。

本セミナーは、抽象的に見えるカテゴリー論の概念群——preorder、category、functor、copresheaf、Yoneda lemma、enriched category——を、LLMという誰もが関心を持つ具体的な対象を通じて学べる、稀有な知的機会を提供しています [p.5], [p.6]。

講義のロードマップ

■ はじめに

• この部の核心:

本セミナーの問題意識と動機を語ります。LLMの振る舞いの背後に数学的構造を見出したいという欲求から出発し、グロタンディックやローベールが純粋数学として構築したfunctorial semantics、presheaf、toposといった道具が、LLMを媒介として技術者にも開かれつつあるという「パラダイムシフト」の予感を示します [p.4], [p.5], [p.6], [p.7]。

• 論理展開:
• LLMの不思議さを理解したいという個人的動機の提示 [p.2]
• 連続セミナー二部構成の予告（第一回：preorder/Yoneda、第二回：enriched category） [p.3]
• 「カテゴリー論を語るには言語理論が必要」という双方向的関係の宣言 [p.7]

■ Part 1: 構成的分散意味論の展開

• この部の核心:

語の意味をどう数学的に捉えるかという問いを、ウィトゲンシュタインからファース、DisCoCat、Quantum NLPへと至る系譜で辿ります。特にCoeckeらによるDisCoCatは、Pregroup文法（Syntax）をFVect（Semantics）へとFunctorで写す枠組みとして詳説され、文の意味を語の意味と文法構造の双方から構成的に導出できることを示します [p.35], [p.47]。

• 論理展開:
• ウィトゲンシュタインの「使用説」とファースの「文脈依存説」という意味論の二大系譜の対比 [p.13], [p.15]
• DisCoCatの核心：F: PregX → FVect というfunctor semanticsの図式、"bananas are fruit"の具体例 [p.35], [p.47]
• QNLPへの展開：語の意味をqubit状態として捉え、量子コンピュータ上でNLPを実行する試み [p.49], [p.54], [p.63]

■ Part 2: 大規模言語モデルの特徴

• この部の核心:

LLMが「構造化されていないテキストの相関のみから、文法・意味・世界知識を習得する」という事実が、DisCoCatの枠組みを根本から無効化することを明示します。同時にTai-Danaeの問題提起を紹介し、新しい数学的枠組みの必要性を動機付けます。新モデルの骨格として「Preorder → copresheaf（via Yoneda）」「enriched category」というキーワードを提示します [p.79], [p.84], [p.103]。

• 論理展開:
• LLMが文法・意味・世界知識を無構造テキストから獲得するという驚異の指摘 [p.78]
• DisCoCatの図式がLLMには適用不能であることの視覚的説明 [p.81], [p.84]
• 新モデルの比較対照：「Functor: PreGroup → FVect」から「Yoneda: Preorder → copresheaf」へ [p.103]

■ Part 3: 言語をカテゴリーとして捉える

• この部の核心:

言語テキストが持つ最小限の構造「前順序（preorder）」を定義し、それがcategoryの公理を自然に満たすことを証明します。pregroupの代数的豊かさを捨てることで、生のテキストデータに適用可能な言語のカテゴリーLを構築します。また、LとSemanticsのカテゴリーを結ぶfunctorの概念を復習します [p.114], [p.126], [p.128]。

• 論理展開:
• preorderの定義（反射律＋推移律）とpartial order・total orderとの階層的関係 [p.115]
• "red ≤ red ruby ≤ beautiful red ruby"などの具体例による前順序の直感的理解 [p.117], [p.118]
• preorderのcategory化：反射律→同一射、推移律→射の合成、結合性の証明 [p.126], [p.127], [p.128]
• functorおよびnatural transformationの定義と可換図式 [p.138], [p.141]

■ Part 4: 意味をカテゴリーとして捉える

• この部の核心:

ファースの「仲間たち」という直感を数学化し、言語のカテゴリーLの各オブジェクトxをHom functor L(x,−): L → Setに対応させるYoneda embeddingを構成します。これにより、意味のカテゴリーはL上のcopresheaf（functor category Set^L）として自然に定義されます。最後に確率を導入したenriched categoryによって、LLMの確率的継続と文法性の両方を同一の枠組みで記述できることを示します [p.159], [p.173], [p.182], [p.198]。

• 論理展開:
• 「語redの意味＝redを含む表現全体の集合 {y∈L | (red→y)∈L}」というFirth流の数学化 [p.155], [p.157]
• functor categoryの定義：オブジェクトはfunctor、射はnatural transformation [p.160]
• Yoneda embedding x ↦ L(x,−) の構成と、言語L → 意味Set^Lの対応図式 [p.173], [p.179], [p.181]
• Yoneda Lemmaの定式化：Nat(hom(c,−), F) ≅ F(c) [p.177], [p.184]
• 射への確率付与（条件付き確率π(T|S)）によるenriched category L'の構築と、文法性回復の意義 [p.190], [p.195], [p.198]