ことばと意味の数学的構造

全体概要

本セミナー「ことばと意味の数学的構造」は、ChatGPTをはじめとする大規模言語モデルの登場によって改めて注目を集めた「ことばと意味」という問題を、AI工学の実装的な側面とは異なる、純粋に数学的・形式的な視点から深く探究するものです [p.1], [p.2]。

中心的な問いは「意味とは何か、そしてその構造を数学はどのように記述できるか」です。現代のAIが採用する「意味の分散表現」—単語をベクトルで表現する技術—は、2003年のBengioに始まり、Word2Vec、Transformer、ChatGPTへと続く系譜を持ちます [p.3]。しかし本セミナーはその「もう一つの道」を辿ります。それがBob Coecke、Tai-Danae Bradleyらが提唱する「カテゴリー論的構成的分散意味論（DisCoCat）」です [p.5]。

この理論の知的な土台は1950〜60年代にまで遡ります。LawvereのFunctorial Semantics（1963年）は、「理論をカテゴリーと見なすならば、モデルはファンクターである」という根本的な洞察を提示し [p.35]、LambekのPregroup Grammar（1958/2008年）は「文法の計算ルールは二つの式で表される」という驚くべき発見をもたらしました [p.45], [p.57]。本セミナーはこの二つの柱を丁寧に解説した上で、それらがいかにしてDisCoCatへと結実するかを示します。

さらに展望として、意味の分散表現の担い手をベクトルから密度行列へと置き換えることで、「ことばと意味」の理論が量子論と深く一致するという驚くべき発見があること、そして量子コンピュータ上での自然言語処理（QNLP）という新分野の実験が既に始まっていることが紹介されます [p.4], [p.156]。本セミナーは、形式論理・カテゴリー論・言語学・量子論が交差する、知的に最も刺激的な研究フロンティアへの招待状です。

---

講義のロードマップ

■ はじめに: セミナーの全体像と動機

• この部の核心:

ChatGPTの成功が「意味の分散表現」技術に依拠していることを指摘した上で、本セミナーがその「工学的系譜」とは異なる「数学的・形式的構造の探究」という視座から展開されることを宣言します。同時に公開された姉妹資料「意味の分散表現論の系譜」との補完関係も明示されます。

• 論理展開:
• 大規模言語モデルの成功と「意味の分散表現」の関係を概観 [p.2]
• AI分野の系譜（2003年Bengioから2022年ChatGPTまで）を年表で整理 [p.3]
• 本セミナーの主題：DisCoCat理論とその背景（Lawvere, Lambek）の解説 [p.5], [p.6]
• 量子論との一致・QNLPという展望（Part 4）の予告 [p.4], [p.5]

---

■ Part 1: 意味の形式的理論 — Functorial Semantics

• この部の核心:

「理論（Syntax）」と「モデル（Semantics）」という数理論理学の根本的二項対立を出発点とし、LawvereがカテゴリーとFunctorによってこの対応を形式化した「Functorial Semantics」（1963年）の本質を解説します。「理論をカテゴリーと見なすならば、モデルはファンクターである」という命題が、意味論の数学的基礎として機能します [p.31], [p.35]。

• 論理展開:
• 「理論」＝形式的ルールの下で命題が証明される世界、「モデル」＝命題が妥当する世界、という二項構造の定義 [p.15], [p.16]
• ゲーデルの完全性定理（「ある理論が無矛盾ならそれはモデルを持つ」）との接続 [p.21]
• D₃（二面体群）の表現を例に、抽象的理論とその具体的モデルの対応関係を図示 [p.22], [p.23], [p.24], [p.25]
• CategoryとFunctorの定義：対象・射・合成・恒等射 [p.27], [p.28], [p.29]
• Lawvereの核心命題：FunctorがSyntaxカテゴリーCからSemanticsカテゴリーDへの構造保存写像として「意味」を与える [p.31], [p.32]

---

■ Part 2: ことばの構成性 — Pregroup Grammar

• この部の核心:

ことばの構成性（compositionality）——文の意味は語の意味とその文法的構成によって決定される——というテーゼを数学的に定式化する試みを追います。Chomsky（生成文法）とLambek（カテゴリー文法）という二人の巨人の出会いと分岐、そして50年を経た再会という知的ドラマとともに、Lambekの1998年のPregroup Grammar（From Word to Sentence）を詳説します [p.47], [p.48]。

• 論理展開:
• ことばの構成性の基本的観察：文法的に正しいが意味のない文（"Colorless green ideas…"）、構文的曖昧性（"I saw a man with a telescope."）[p.40]
• Lambek 1958年の発見：文法計算ルールが `(x/y)y → x` と `y(y\x) → x` の二式に集約される [p.45], [p.56]
• Lambekの回想：Chomskyの生成変形文法の波に押され、研究を一時断念 [p.46]
• 2008年のPregroup Grammar：還元ルールを `xx^r → 1`, `x^l x → 1` と再定式化 [p.57], [p.68]
• "She will see him"、"Will she see him?"、"Whom will she see?" の型計算による分析 [p.69], [p.72], [p.73], [p.74], [p.75], [p.76], [p.77]
• MinimalistプログラムとPregroup Grammarの収斂（Berwick & Epstein 1995, Berwick & Chomsky 2016）[p.50], [p.51]

---

■ Part 3-1: DisCoCatの登場 — Bob Coeckeによるアプローチ

• この部の核心:

2010年のCoecke, Sadrzadeh, Clark論文「Mathematical Foundations for a Compositional Distributional Model of Meaning」を詳解します。LambekのPregroupとベクトル空間意味論という「直交する」二理論を、両者が共に「compact closed category」であるという数学的構造の同一性によって統合し、文全体の意味を語の意味から構成的に計算する枠組みを構築します [p.84], [p.91]。

• 論理展開:
• 問題意識：分散意味論は構成的でなく、記号意味論は非定量的。両者の欠点を補う統合が目標 [p.90]
• Monoidal CategoryとString Diagramの対応：数学的証明＝図形的導出 [p.92], [p.94], [p.95], [p.96]
• Unit（η）とCounit（ε）、Yanking等式によるcap/cupの図形的操作 [p.98], [p.99]
• "John likes Mary"のPregroup分析を語の意味テンソルの縮約（contraction）として図形化 [p.104]
• "John does not like Mary"の複合文への拡張と情報の流れの図示 [p.105], [p.106]
• FVect × P カテゴリー：語の「意味ベクトル」と「文法型」のペアとしての文の意味の定式化 [p.109], [p.110], [p.111]

---

■ Part 3-2: カテゴリー論の応用としてのDisCoCat — Tai-Danae Bradleyによるアプローチ

• この部の核心:

Tai-Danae Bradleyの2018年論文「What is applied category theory?」に基づき、DisCoCatをFunctorial Semanticsの直接的応用として再解釈します。文法カテゴリー（PregX）から意味カテゴリー（FVect）へのFunctor F: PregX → FVectという枠組みで整理し、"bananas are fruit"の意味を実際に数値計算してみせます [p.114], [p.115]。

• 論理展開:
• Pregroupの定義：poset + monoid + dual（compact closed category）[p.127], [p.128]
• 語の意味の分散モデル：{sweet, green, furry}を基底とする名詞空間Nの構築 [p.132], [p.133]
• Functor Fの明示的定義：対象レベル（型→ベクトル空間）と射レベル（型の還元→線形写像）[p.138], [p.139], [p.140], [p.141], [p.142]
• "bananas are fruit"の5ステップ計算：型割り当て→空間固定→語ベクトル決定→型還元→Functor適用 [p.144], [p.145], [p.146], [p.147], [p.148], [p.149], [p.150], [p.151]
• 最終結果：文の意味として `1974 × 1̄` が得られる計算 [p.151]

---

■ Part 4: カテゴリー論的構成的分散意味論の展開

• この部の核心:

DisCoCatの現在進行形の展開として、CoeckeによるQuantum-NLP（QNLP）とTai-DanaeのReduced Density Matricesによる言語モデルを紹介します。特にQNLPは「意味と構造を結合するために量子的モデルが必要」という主張のもと、NISQデバイス上での実証実験が始まった新分野です [p.156], [p.172]。

• 論理展開:
• 自然言語の量子モデル：名詞の意味→1-qubitの状態、他動詞→N⊗S⊗Nテンソル [p.165], [p.170]
• 形容詞の適用（"black hat"）：Choi-Jamiolkowski対応による2-qubit状態表現と量子テレポーテーションとの図形的類似 [p.167], [p.168], [p.169]
• QNLP in Practice（2021年）：100文以上のデータセットでNISQ量子コンピュータ上での初の中規模NLP実験 [p.172], [p.173]
• CoeckeのOxfordコースシラバス（2022-23）：DisCoCat・QNLP・分散意味論の統合的学習 [p.178], [p.179]
• Tai-DanaeのReduced Densities（2021年）：大規模言語モデルの背後にある数学的構造の問いへの挑戦と「問題意識」の紹介 [p.182], [p.183], [p.184], [p.185]