講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「大規模言語モデルの数学的構造 I ── 言語へのカテゴリー論的アプローチ入門」は、現代の大規模言語モデル（LLM）が「なぜあれほど巧みに言語を扱えるのか」という根本的な問いに対し、カテゴリー論という純粋数学の言語を用いて迫ろうとする野心的な試みです [p.1, p.2]。
セミナーが出発点に置くのは、Tai-Danae Bradleyらが2021年に発表した論文「An enriched category theory of language: from syntax to semantics」です [p.92]。この論文は、大規模言語モデルが「構造化されていないテキストデータの相関関係から完全に構築されている」という驚くべき事実に数学的な説明を与えようとするものです [p.76]。
本セミナーの知的背景は深く、ウィトゲンシュタインの「意味の使用説」、ファースの「意味の文脈依存性（You shall know a word by the company it keeps）」、そしてCoeckeらによるDisCoCat（構成的分散意味論）という三つの思想的・数学的系譜が交錯します [p.13, p.15, p.35]。DisCoCatはPregroup文法とFVectというカテゴリーをFunctorで結ぶ優れた枠組みでしたが、文法的解析を前提とするため、生の平文テキストを入力とするLLMには直接適用できませんでした [p.84]。
そこでTai-Danaeが採用したのは、pregroupという強い代数的仮定を捨て、言語テキストが持つ最もプリミティブな構造である「前順序（preorder）」のみを出発点とするアプローチです [p.114]。言語を前順序のカテゴリーLとして捉え、そこからYoneda embeddingによって「意味のカテゴリー（copresheaf）」への対応を自動的に導く構成は、ファースの分散意味論の考えをカテゴリー論的に実装したものといえます [p.173, p.182]。さらに、このカテゴリーの射に確率を付与する（enriched category化する）ことで、LLMが学習する表現の継続・連続性や、文法性そのものを数学的にモデル化する道が開かれます [p.188, p.196]。
本セミナーは、抽象的に見えるカテゴリー論の概念群preorder、category、functor、copresheaf、Yoneda lemma、enriched categoryを、LLMという誰もが関心を持つ具体的な対象を通じて学べる、稀有な知的機会を提供しています [p.5, p.6]。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ はじめに
本セミナーの問題意識と動機を語ります。LLMの振る舞いの背後に数学的構造を見出したいという欲求から出発し、グロタンディックやローベールが純粋数学として構築したfunctorial semantics、presheaf、toposといった道具が、LLMを媒介として技術者にも開かれつつあるという「パラダイムシフト」の予感を示します [p.4, p.5, p.6, p.7]。
■ Part 1: 構成的分散意味論の展開
語の意味をどう数学的に捉えるかという問いを、ウィトゲンシュタインからファース、DisCoCat、Quantum NLPへと至る系譜で辿ります。特にCoeckeらによるDisCoCatは、Pregroup文法（Syntax）をFVect（Semantics）へとFunctorで写す枠組みとして詳説され、文の意味を語の意味と文法構造の双方から構成的に導出できることを示します [p.35, p.47]。
■ Part 2: 大規模言語モデルの特徴
LLMが「構造化されていないテキストの相関のみから、文法・意味・世界知識を習得する」という事実が、DisCoCatの枠組みを根本から無効化することを明示します。同時にTai-Danaeの問題提起を紹介し、新しい数学的枠組みの必要性を動機付けます。新モデルの骨格として「Preorder → copresheaf（via Yoneda）」「enriched category」というキーワードを提示します [p.79, p.84, p.103]。
■ Part 3: 言語をカテゴリーとして捉える
言語テキストが持つ最小限の構造「前順序（preorder）」を定義し、それがcategoryの公理を自然に満たすことを証明します。pregroupの代数的豊かさを捨てることで、生のテキストデータに適用可能な言語のカテゴリーLを構築します。また、LとSemanticsのカテゴリーを結ぶfunctorの概念を復習します [p.114, p.126, p.128]。
■ Part 4: 意味をカテゴリーとして捉える
ファースの「仲間たち」という直感を数学化し、言語のカテゴリーLの各オブジェクトxをHom functor L(x,−): L → Setに対応させるYoneda embeddingを構成します。これにより、意味のカテゴリーはL上のcopresheaf（functor category Set^L）として自然に定義されます。最後に確率を導入したenriched categoryによって、LLMの確率的継続と文法性の両方を同一の枠組みで記述できることを示します [p.159, p.173, p.182, p.198]。
ページのナビゲート