講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナーは、アメリカ数学会誌（Notices of the AMS）2024年2月号に掲載されたTai-Danae Bradley、Juan Luis Gastaldi、John Terillaによる論文「The Structure of Meaning in Language」を詳細に解説するものです [p.2, p.3]。
中心的な問いは、「純粋に構文的（syntactical）な入力から、言語の意味的・構造的特徴をどのように抽出できるか」というものです。これは単なる技術論ではなく、ソシュールの構造主義言語学やチョムスキーの生成言語学にまで遡る、言語学の根本的な問いと接続しています [p.180, p.181]。
論文の背景には、現在の主流である大規模言語モデル（LLM）への批判的眼差しがあります。著者たちは、ニューラル言語モデルが驚異的な性能を発揮しているにもかかわらず、そのタスク遂行の際に必然的に働いている「構造的特徴」を明示的に明らかにしていないという根本的な不十分さを指摘します [p.8, p.183]。意味と形式は不可分であるという考え方は新しくないにもかかわらず、現在のAI議論に十分浸透していないと彼女たちは主張します [p.179]。
探求のアプローチとして採用されるのが、カテゴリー理論、特にenriched category理論です。論文は、線形代数（word embedding、SVD）によるアプローチとカテゴリー論的アプローチの驚くべき「パラレル性」を丁寧に構築します。線形代数ではword embeddingと意味空間が得られるのに対し、カテゴリー論的置き換えを行うとFormal Conceptのlatticeという、より豊かな意味構造が得られることを示します [p.6]。
本セミナーは、この論文解説を通じ、言語の形式から意味が生まれるメカニズムを数学的に解明しようとする、壮大な知的営みへの招待状です。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: オブジェクト vs. オブジェクト上の関数
「オブジェクトそのものではなく、オブジェクト上で定義された関数に注目する」という本論文全体を貫く哲学的・数学的方針を確立します [p.13, p.14]。不完全な構造しか持たない対象Xを、X上の関数の集まりFun(X)で置き換えることで、Xのすべてとそれ以上の構造を扱えるようになるというアイデアを、ベクトル空間・presheaf・enriched categoryという三つの具体例を通じて丁寧に定式化します [p.13]。
■ Part 2: 自然言語処理での語の埋め込み
現在のLLMを支える語の埋め込み（word embedding）技術の数学的本質を解明します。語彙集合Dから自由ベクトル空間R^Dへ、さらにニューラルネットによって低次元の密なベクトルR^dへ写像するプロセスを精査し、その驚くべき意味的性質（内積による類似度、Berlin-Germany≈Paris-Franceのような線形演算）がニューラルネットの「魔法」ではなく、テキストコーパスに潜在する言語データの代数的構造に起因することを明示します [p.74, p.84]。
■ Part 3: 意味の空間から意味の構造へ
線形代数的アプローチとカテゴリー論的アプローチの「驚くべきパラレル性」を体系的に構築し、語の埋め込みが与える「意味の空間」を超えた「意味の構造」（Formal Conceptのlattice）へと進む道筋を切り拓きます [p.93]。行列とprofunctor、SVDとIsbell adjunction、特異ベクトルとformal conceptのnucleiが対応するという美しい類比関係が本Partの核心です [p.122, p.126]。
■ Part 4: ニューラル言語モデル批判
本論文の言語学的・哲学的主張の核心を展開します。ソシュールの構造主義言語学、チョムスキーの生成言語学、20世紀末の経験的アプローチの復活という言語思想の大きな流れを整理したうえで、現在のニューラル言語モデルの根本的な不十分さすなわち「タスク遂行に必然的に働く構造的特徴を明示しない」ことを鋭く指摘します [p.180, p.181, p.182, p.183]。
ページのナビゲート