講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナーは、「LLMと意味の理論モデル概説」と題し、大規模言語モデル（LLM）が示す驚異的な言語運用能力を理論的に説明しようとする一連の研究動向を俯瞰するものです。MaruLaboが夏以降に展開する連続セミナー「LLMの理論モデルの新しい展開」の導入編として位置づけられており、今後の個別セミナーを理解するための基本的な準備を目的としています [p.4]。
セミナーが提起する中心的な問いは、「LLMはなぜ、構造化されていないテキストデータだけから、文法・意味・世界知識を獲得できるのか」というものです [p.100]。この問いに対し、現在最も注目される三つの研究潮流Bradleyらによるmagnitude概念を用いた意味の距離空間モデル、CoeckeらによるQNLPの量子コンピュータ実装、VlassopoulosらによるLLMの内部動作の数学的解析が紹介されます [p.6]。
理論的背景として特に重視されるのが、Tai-Danae BradleyとBob Coeckeという二人の研究者が築いてきた先行研究です。Bradleyのcopresheafベースのenrichedカテゴリー論的意味論と、Coeckeのcompact closed categoryを用いたQNLPは、ともに「言語データには構造的プライア（structural prior）が先在的に内在する」という共通の信念のもとに立っており、現在のTransformerベースのブラックボックス的手法への批判的視座を提供します [p.38, p.52]。
Bradleyの理論発展の軌跡を追うことがPart 3・Part 4の核心です。2018年のDisCoCat解説論文から出発し、2020年のDisCoCat批判論文でLLMの現実に向き合い、2021年のenriched copresheaf意味論、そして2025年のmagnitude理論へと続く発展をたどることで、「意味の理論モデルとはいかなるものか」という問いに対する彼女の探求の深まりが明確に見えてきます [p.62]。特に2021年の論文が構築したcopresheaf意味論の骨格言語のpreorderカテゴリーL、米田埋め込みによるL→Set^Lの対応、論理演算の意味解釈は、以降のすべての発展の基盤をなすものとして詳細に解説されます [p.116]。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: LLMの理論モデルの新しい展開
現在活発に議論されているLLMの理論モデルの三つの主要潮流を概観し、それぞれが用いる数学的ツールの特徴を紹介します。この連続セミナー全体のロードマップとなる部分であり、Bradley（magnitude/enrichedカテゴリー）、Coecke（ZX-calculus/QNLP）、Vlassopoulos（Tropical代数）という三者の研究が互いにどう関連するかが示されます [p.6, p.10]。
■ Part 2: 新しい展開の背景を探る
LLMの理論的新展開を支える理論的・実践的背景を探ります。BradleyとCoeckeという二つの先行研究が共有する「構成性（compositionality）の重視」「カテゴリー論の利用」という共通性を整理し、現在主流のTransformer意味論が抱える三つの根本的問題説明可能性の欠如、文脈依存性の暗黙的処理、力まかせのスケール依存を批判的に論じます [p.31, p.47, p.49, p.52]。
■ Part 3: Bradleyの理論の発展をたどる
「意味の分散表現論の系譜」という歴史的文脈の中にBradleyの研究を位置づけ、彼女が2018年のDisCoCat解説から2020年のDisCoCat離脱へと転換した動機を詳細に明らかにします。CoeckeのDisCoCatモデルの数学的構造（PreGroupGrammar→FVect間のfunctor）を丁寧に解説し、なぜそれが「構造化されていないテキスト」を扱うLLMの現実と衝突したかを示します [p.67, p.72, p.97]。
■ Part 4: Bradleyのcopresheaf意味論
2021年論文の前半が展開するcopresheaf意味論の核心言語のpreorderカテゴリーL、Firth的意味観に基づくL(x,-)によるhom functor表現、functor category Set^Lとしての意味のカテゴリー、そして米田埋め込みによるL→Set^Lの対応を段階的に構築します。さらに論文後半で[0,1]によるenrich化を通じてLLMの確率モデルと接続し、2025年の[0,∞]によるenrich化（magnitude理論）への橋渡しを行います [p.115, p.116, p.122]。
ページのナビゲート