全体概要

本セミナー「20190408SemanticsIBM」は、「言語の意味とは何か」という哲学的な問いを起点に、記号論・言語学・数学・計算機科学が交差する壮大な知的地図を描き出す講義です。冒頭に掲げられたフレーゲの言葉「複合表現の意味は、その構成要素の意味と結合規則によって決定される」[p.2] は、本セミナー全体を貫くライトモチーフであり、これは「合成原理(Compositionality)」と呼ばれる言語意味論の根本テーゼです。

古代ギリシャのクラテュロス対話篇における「名前と事物の関係は自然なものか約束事か」という論争 [p.8] から始まり、サンスクリット文法のパーニニ [p.10]、ポール=ロワイヤル文法 [p.23]、ソシュールの記号論 [p.32] といった言語研究の歴史的系譜を辿りながら、チョムスキーの生成文法・ミニマリストプログラム [p.59–p.62]、そしてランベクのプリグループ文法 [p.97–p.109] へと至る構造的進化を俯瞰します。

数学的側面では、チューリングマシンと計算複雑性理論 [p.50–p.55]、非ユークリッド幾何学 [p.166–p.167]、連続体仮説とコーエンの強制法 [p.177–p.179]、ホモトピー型理論 [p.146–p.149] といった基礎数学の重要トピックを横断し、最終的にローヴェアのFunctor Semantics [p.182–p.194] という圏論的枠組みへと収束します。この枠組みにおいて「構文(Syntax)はカテゴリ、意味論(Semantics)はカテゴリ、そしてその橋渡しをするFunctorが意味写像である」という洞察が核心をなします。

応用面では、Word2Vec [p.133–p.139]、DisCoCat(分布的合成的圏論的意味論)[p.195–p.230]、IBMワトソンの深層構文解析 [p.309]、Alexa IntelligenceのIntent/Entity設計 [p.244–p.254]、そしてEncoder-Decoder+Attentionによるニューラル機械翻訳 [p.259–p.279] まで、理論が現代AI技術にどう実装されているかを丁寧に示します。セミナー全体を通じて、古代の哲学的問いが現代の深層学習システムの設計思想に直結しているという知的スリルが、このセミナー最大の魅力です。

講義のロードマップ

ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。

■ Part 1: 言語と意味の思想史——哲学から記号論へ

言語における「形式(Form)」と「意味(Meaning)」の関係は、人類が長く問い続けてきた哲学的難問です。クラテュロスの自然説と慣習説の対立 [p.8]、アリストテレスの形相(eidos)と質料(hyle)[p.13]、ソシュールのシニフィアン/シニフィエの二元論 [p.32] を経て、意味の問題が「記号の恣意性」と「概念の構造」の緊張関係として定式化される過程を示します。

■ Part 2: 言語の数理的形式化——パーニニからチョムスキーへ

言語の構造を数学的規則として記述しようとする試みは、紀元前4世紀のパーニニのサンスクリット文法 [p.10] に遡ります。近代においてはポール=ロワイヤル文法 [p.23]、そして20世紀にチョムスキーが生成文法・変形規則・再帰性(recursion)の概念を確立しました [p.58–p.59]。言語能力(FL)は生物学的基盤を持つという生物言語学的アプローチ [p.61] が、ミニマリストプログラムの出発点となります。

■ Part 3: 計算複雑性と数学的基盤——チューリングから連続体仮説まで

言語処理の「何が難しいか」を定量化するために、計算複雑性理論(P vs NP、BQP等)[p.54–p.55] とチューリングマシン [p.50] の概念が不可欠です。さらに、意味論の数学的基盤として非ユークリッド幾何学 [p.166–p.167]、カントールの無限論と連続体仮説 [p.177]、コーエンの強制法による独立性証明 [p.179] が紹介され、数学的真理の「証明不可能性」が意味論の限界と呼応することが示唆されます。

■ Part 4: プリグループ文法とLambek——構文の代数的記述

ヨアヒム・ランベク(1922–2014)が1958年に提案した圏論的文法 [p.97] と、2008年に洗練されたPregroup Grammar [p.109] は、チョムスキーのMergeと驚くほど類似した構造を持ちます [p.95–p.96]。型の偏順序と型の縮約規則により、英語の文法的適格性を代数的計算として証明できます。”she will see him” の型計算が具体的な計算例として示されます [p.115–p.116]。

■ Part 5: 圏論的意味論——Functor SemanticsとDisCoCat

ローヴェア(1963)のFunctorial Semantics [p.182] は「理論(Theory)をカテゴリとみなし、モデル(Model)をFunctorとみなす」という革命的洞察を提供します。これをCoecke・Sadrzadeh・Clark(2011)が言語意味論に応用したのがDisCoCat(分布的合成的圏論的意味論)[p.195] です。構文カテゴリ(Pregroup)から意味論カテゴリ(有限次元ベクトル空間FVect)へのFunctorが、語の分布的ベクトル表現と合成原理を統一します。

■ Part 6: ホモトピー型理論とFibration——意味の等価性の数学

型理論とホモトピー理論の深い対応(Homotopy Type Theory = HoTT)[p.149] は、「等しさ(equality)」の概念を経路(path)として幾何学的に捉え直します。Fibration F→E→B [p.145] の構造はdependent typeやhomotopyと結びつき、意味の「同一性」と「変換可能性」を厳密に扱う数学的道具立てを提供します。ヴォエヴォツキーのUnivalence Axiomは、同型な型は等しいという強力な原理です。

■ Part 7: 分布意味論とWord2Vec——統計的意味表現

語の意味をコーパス中の共起情報から高次元ベクトルとして表現する分布意味論は、理論と応用の橋渡しをします。Word2Vec [p.133–p.139] により「KING-MAN+WOMAN≈QUEEN」のような意味算術が可能となり、DisCoCAT理論の「語の意味=ベクトル」という仮定に実証的根拠を与えます。

■ Part 8: ニューラル機械翻訳とEncoder-Decoder——応用的頂点

理論の実装としてのEncoder-Decoderアーキテクチャ [p.263] と、Bahdanauらのアテンション機構 [p.267–p.268] が、GoogleのニューラルMT(GNMT)[p.271] として結実します。多言語モデルにおいては、日本語↔英語↔韓国語を経由した「ゼロショット翻訳」が可能となり [p.275–p.279]、言語間に共通の意味空間が学習されることが示唆されます。

■ Part 9: AlexaのIntent/Entity設計——理論から実装へ

アマゾンAlexaのスキル設計 [p.245–p.250] は、本セミナーの理論的枠組みを産業応用に落とし込んだ好例です。Intent(発話意図)、Slot(意味的変数)、Entity(存在物の型)の三層構造 [p.247] は、構文論・意味論・語用論(Syntax-Semantics-Pragmatics)に直接対応します。Schema.orgのAction Typeとの統合 [p.254–p.256] により、Web上の知識グラフとの連携が可能になります。