講演資料
講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。
全体概要
本セミナーは、「自然言語の意味（Semantics）をいかにして計算機が扱えるようにするか」という根本的な問いに挑んでいます。その核心にあるのは、Gottlob Fregeが提唱した構成性原理（Compositionality）——「複合表現の意味はその部分の意味と結合規則によって決定される」——であり [p.2]、この原理を数学的・計算論的に実装することが本講義全体を貫く主題です。Richard Montagueが宣言した「形式言語と自然言語の間に重要な理論的差異は存在しない」という命題 [p.3] は、自然言語処理を厳密な数理的枠組みで扱う正当性を与えています。
セミナーはPart I・II・IIIの三部構成に加えAppendixを持ちます。Part Iでは、音声対話AIにおけるIntent・Entity認識から始まり、Word2Vec、Scene Graph、Image-Sentence Mappingといった深層学習ベースの意味表現技術を概観します。Part IIでは、言語の構造解析をChomsky流の生成文法から Lambek の圏論的文法（Pregroup Grammar）へと昇華させる数理的基盤を丁寧に構築します。Part IIIでは、CCG（Combinatory Categorial Grammars）によるSemantic Parsingと、Coeckeらが提唱したDisCoCat（DIStributional COmpositional CATegorical）モデルを詳述し、分布意味論と圏論的構造を統合することで文の意味をFunctor（函手）として計算する手法を示します。
全体を貫く理論的中核は、F. W. Lawvereの洞察「理論をカテゴリーとして捉えれば、モデルはFunctorである」[p.4], [p.233] です。すなわち、文法（Syntax）をカテゴリーとして、意味空間（Semantics）を別のカテゴリーとして定式化し、両者の間の意味保存写像をFunctorとして記述する——このLawvere的な枠組みがDisCoCatの哲学的・数学的支柱となっています。AppendixではさらにQuantum Semanticsへの接続が示され、量子テレポーテーションのプロトコルが文意味計算のアルゴリズムと同型であるという驚くべき洞察が提示されます [p.359]。
講義のロードマップ
■ Part I: 自然言語意味処理の実装と現状
- この部の核心:
スマートスピーカー（Alexa）や検索エンジン（Google/MS）が実際に行っている意味処理——Intent認識・Entity抽出・Action Type分類——を具体例で示したうえで、深層学習（Encoder-Decoder＋Attention、Word2Vec、Scene Graph）がどこまで構成性原理に迫れているか、またどこに限界があるかを浮き彫りにします [p.5]。
- 論理展開:
- Intent・Entity・Slot: AlexaのSkillがutteranceからIntent signatureを抽出し、Slot（Date・Location等）に分解する仕組みを解説。Schema.orgのAction TypeがEntity階層（Thing > Action）を形成する [p.18]〜[p.30]。
- Encoder-Decoder＋Attention: HintonのAutoencoder [p.33] を起点にSutskeverのLSTM Seq2Seq [p.36]、BahdanauのAttention機構 [p.40]〜[p.41] へと発展。Googleの神経機械翻訳（GNMT）がGPU100台・1000億パラメータ規模で実装された [p.47]。
- Word2Vec: 2013年のMikolovらの手法 [p.56]。単語を連続ベクトル空間に埋め込み、W(woman)−W(man) ≃ W(queen)−W(king) という構造的アナロジーを実現 [p.61]。ただし単語の分布統計を捉えるに留まり、文レベルの構成性は直接扱えない [p.64]。
- Scene Graph＋Image-Sentence Mapping: Karpathy et al.がRCNNで画像中のEntityとRelationをscene graphとして構造化し [p.72]〜[p.83]、De Marneffeの依存構文解析と組み合わせてImage-Sentence対応を学習 [p.88]〜[p.100]。視覚的意味論の構成性への接近を示しつつ、Chomsky的な内在言語との対比が論点として提示される [p.104]。
- 意味処理の見取り図: Intent/Entity/深層学習/形式文法/DisCoCatの各手法を「表層構造」「文法/Syntax」「意味/Semantics」の三軸で整理した比較表が提示される [p.50], [p.52], [p.53]。
■ Part I（後半）: 形式的意味表現——MRSとWatson
- この部の核心:
深層学習では難しい「アンダースペシフィケーション（意味的曖昧性の保持）」や「論理的厳密さ」に対応するため、CopestakeらのMinimal Recursion Semantics（MRS） [p.107]〜[p.116] と、WatsonのDeep Parsing基盤であるEnglish Slot Grammar（ESG） [p.119]〜[p.138] を解説します。
- 論理展開:
- MRSの四要件: 表現的適切性・文法的互換性・計算可能性・アンダースペシフィケーション対応 [p.108]〜[p.109]。Elementary Predication（ラベル・関係・変数引数・スコープ引数の4成分）で意味を平坦な表現として記述する [p.115]。
- Slot Grammar（ESG）: 動詞を中心にsubj・obj・iobj・compなどのSlotを定義し [p.122]、Surface Structure（Tree Line＋Slot）とDeep Structure（Word Sense＋Arguments）を分離して表現 [p.125]〜[p.127]。give1(e, Mary, y, John) のような論理形式を生成 [p.130]。
- WatsonのDeep Parsing: Wikipedia等の大規模文書からESGでDeep Parseを行い、エビデンス候補の検索・スコアリングに活用。AlexaやGoogle Homeとは異なるQAシステムとしての役割が強調される [p.120]。
■ Part II: 圏論的文法論——LambekからPregroup Grammarへ
- この部の核心:
Chomsky流のMinimalist Programと、Joachim Lambek（1922–2014）[p.143] が構築したCategorical Grammar・Pregroup Grammarを対比しながら、「単語列の型計算が文の文法性を決定する」という代数的アプローチの数理的美しさと計算論的有用性を示します [p.141]。LawvereのFunctor Semantics [p.226] への橋渡しもここで完成します。
- 論理展開:
- Lambek vs. Chomsky: 1958年のCategorical Grammar [p.155]〜[p.158] は生成変換文法の台頭で一時埋没したが [p.147]、1998年にPregroup Grammarとして復活。ChomskyanのMinimalist Programとは「ラベル付き括弧木」vs.「型の文字列計算」という方法論的差異がある [p.150]〜[p.152]。
- Pregroup Grammarの型計算: 基本型（n=名詞、s=文、i=不定詞など）に左右の逆元（nl, nr）を導入し、nnl→ε・nrn→εという消去規則で文の型を計算 [p.169]〜[p.174]。"she will see him"の型計算 π₃(π₁rs jl)(iol)o→sが実時間で処理される様子が示される [p.173]〜[p.177]。
- Category理論の基礎: Object・Arrow・合成・恒等射によるCategoryの定義 [p.220]〜[p.223]、共変/反変Functor [p.224]、そしてFunctor Semantics（Syntax CategoryからSemantics CategoryへのFunctorが意味写像となる）の概念 [p.225]。
- Lawvereの洞察: 「理論をカテゴリーとして解釈すれば、モデルはFunctorである」——この1963年の命題 [p.226], [p.233] が、DisCoatの哲学的根拠となる。
■ Part II（補論）: 記号論・集合論・幾何学的意味論
- この部の核心:
Pregroup Grammarの数理構造を支える背景として、分数の演算アナロジー [p.189]、SaussureのSignifiant/Signifié [p.183]、非Euclidean幾何学（Lobachevskyのモデルに見る「公理と独立した公理系」） [p.212]、さらにZF集合論の独立性（Gödel・Cohen）[p.217]〜[p.218] が俯瞰されます。
- 論理展開:
- 整数・分数の型消去アナロジーでPregroup演算を直感化 [p.189]。
- SaussureからソシュールのSignからLambekの型へという記号論的系譜 [p.183]。
- 非Euclid幾何学が「モデルの存在が公理の無矛盾性を証明する」という手法のプロトタイプである点 [p.212]〜[p.214]。これがSkolemsパラドックス [p.210] やVoevodsky のHomotopy Type Theory [p.202] への伏線となる。
■ Part III: CCGによるSemantic ParsingとDisCoCat
- この部の核心:
本セミナーの理論的到達点として、CCG（Combinatory Categorial Grammars）による意味解析と、Coecke・Sadrzadeh・ClarkらのDisCoatモデル [p.288], [p.314] を詳述します。文法（Pregroup Category）から意味空間（FVect：有限次元ベクトル空間のCategory）へのFunctorFを明示的に構成することで、単語の分布ベクトルから文全体の意味ベクトルを計算できることを示します。
- 論理展開:
- CCG Semantic Parsing: Artzi et al. [p.242] によるCCGの型組み合わせ規則（"CCG is fun"や"square blue or round yellow pillow"等の具体例 [p.264]〜[p.280]）。Curry-Howard対応（命題＝型、証明＝プログラム）がCCGの意味論的基盤となる [p.241]。
- DisCoatの構造（3ステップ）: ①Syntax Category＝Pregroup PregX、②Semantics Category＝FVect（単語の分布ベクトル空間）、③Functor F: PregX→FVect が型簡約を線形写像に変換する [p.284]〜[p.289]〜[p.297]〜[p.300]。
- "bananas are fruit"の意味計算例: 名詞型n→N（3次元ベクトル空間）、文型s→S（1次元真偽空間）、動詞areのgrammar type nrsnl→N⊗S⊗N（3×3行列）を設定し、型簡約を通じて文の真偽値を計算 [p.304]〜[p.312]。
- Martha Lewisの拡張: Positive Operatorを用いた概念空間（Conceptual Space）へのDisCoat拡張と、WordNetの活用 [p.343], [p.353]。DisCoatの限界（動詞の高次テンソル処理の困難さ）と今後の課題が示される [p.353]〜[p.354]。
■ Appendix: Quantum Semantics
- この部の核心:
DisCoatの数理構造がCompact Closed Categoryに基づくことから、量子テレポーテーションのプロトコル（caps・cups・unitary操作）と文意味計算アルゴリズムが形式的に同型であることを示します [p.358]〜[p.367]。自然言語処理と量子情報理論の予想外の接続が提示されます。