大規模言語モデルの数学的構造 II
「大規模言語モデルの数学的構造」第二部へのお誘い
申込はこちら：https://llm-math2.peatix.com/
先月のセミナー、「大規模言語モデルの数学的構造 I -- 言語へのカテゴリー論的アプローチ入門 」に、多くの人に（「当社比」ですが）関心を持っていただいて、ありがとうございました。
この連続セミナーは、基本的には、Tai-Danae Bradleyらの論文 "An enriched category theory of language: from syntax to semantics" の紹介を目指したものです。先月のセミナーの第一部は、この論文の基本的特徴である言語理論へのカテゴリー論アプローチの基礎を解説したものです。
今月、セミナーの第二部を「大規模言語モデルの数学的構造 II -- enriched categoryによる言語モデル」というタイトルで開催します。
ここで、第一部では取り上げていなかった、先の論文の主題である、enriched category を用いたsyntaxからsemanticsにいたる言語理論の紹介をしようと思います。第二部から、いよいよ、連続セミナーの本題に入ることになります。
あらためて、多くの人のセミナー第二部への参加をお願いしたいと思います。
第一部のふりかえり
ここでは、第一部で見てきたことをふりかえります。
言語のカテゴリー Lを、preorder category として捉える
言語を構成する意味を持つ文字列である、語・フレーズ・文・文の連続 … を「表現」とします。任意の表現 S, Tについて、表現Sの文字列が表現Tの部分文字列であるとき、S ≦ Tと順序を定義します。
この順序は、次の性質が確かめられますので preorder（前順序）です。
1. S ≦ S （反射律）
2. S ≦ T かつ T ≦ U なら、S ≦ U （推移律）
この時、言語の表現をオブジェクトとし、表現間の順序 S ≦ T を S → T という射（モルフィズム）を定義すると考えると、言語は、preorder category として捉えることができることがわかります。
ここでは、次のことに注意しましょう。
・この言語のカテゴリー L では、二つの異なるオブジェクト間の射は、
ただ一つ存在するか、あるいは、全く存在しないかのいずれかです。
・この言語のカテゴリー L は、ある言語が文字表現を持つ限り、
日本語、英語、… といった違いを超えた言語の特徴を表現しています。
表現 Sの「意味」を、カテゴリー L 内の S → T なる射全体の集合と考える
Firth は、次のような言葉を残しています。
「我々は、ある語を、それが引きつれている仲間たちによって知ることになる。」
こうした意味の理解をベースにして、ある表現Sの意味を、それが「引きつれている仲間たち」の全体の集合で考えることにします。Sの「仲間たち」とは、S → T なる射が存在する表現Tのことです。
それらの全体を考えるということは、S → T なる射全体の集合を考えるということと同じことです。
意味のカテゴリーは、copresheaf \( Set^L\) で表現される
カテゴリー L 内の S → T なる射を、L(S, T) と表します。また、L(S, − ) で、Sの意味を表現している、Sのすべての「仲間たち」への「射全体の集合」を表すことにしましょう。
SがLのオブジェクトである時、それに対応する意味のカテゴリーを構成しているオブジェクトは、射全体の集合L(S, − )だと考えることができます。この対応は、カテゴリーL から集合のカテゴリーSetへのfunctorを考えることに他なりません。
カテゴリー論では、カテゴリーCから集合のカテゴリーSetに値を持つfunctorで構成されるカテゴリーを、\( Set^C\)で表し、C上のcopresheaf と呼びます。
意味のカテゴリーは、言語のカテゴリー L から、集合のカテゴリー Setに値を持つ、functor で構成される L上のcopresheaf \( Set^L\)で表現されることになります。
言語のカテゴリーと意味のカテゴリーの対応は、Yoneda Embeddingで与えられる
言語のカテゴリー Lと意味のカテゴリー \( Set^L\)の対応は、LのオブジェクトSに、\(Set^L\)のオブジェクトL(S, − )を対応付けるものです。
こうした対応づけをYoneda Embeddingと呼びます。
言語の論理性と意味のモデルとしてのcopresheaf
意味のカテゴリー copresheaf について
( スライドのpdf blog:「Semantics 1.0 から Semantics 2.0へ」 )
“red or blue” の意味を考える
( スライドのpdf blog:「“red or blue” の意味を考える」 )
“red and blue” の意味を考える
( スライドのpdf blog:「AND と OR、product と coproduct は dual である」 )
enriched category論 入門
言語のカテゴリーに確率を導入する
( スライドのpdf blog:「第一部のふりかえりと第二部の課題」 )
enriched category とは何か ?
( スライドのpdf blog:「簡単な例からenriched categoryのイメージを持つ」 )
enrich以前のカテゴリーとenrich化されたカテゴリーを比較する
( スライドのpdf blog:「enrichするカテゴリーの働きを考える」 )
commutative monoidal preorder
closed commutative monoidal preorder とinternal hom
( スライドのpdf blog:「すごいのかすごくないのか？」 )
enriched category 論の言語理論への応用
Syntax category
( スライドのpdf blog:「 この投稿はわかりやすいかも知れない 」 )
enriched functor とenriched copresheaf
( スライドのpdf blog:「 functor category をenrich化する 」 )
copresheaf \( [0,1]^L \) とenriched Yoneda lemma
( スライドのpdf blog:「 言語理論へのenrich化されたカテゴリー理論導入の意味 」 )
Semantic category
( スライドのpdf blog:「 enrich化されたcopresheaf として意味をとらえる 」 )
copresheaf-意味論の射程
( スライドのpdf blog:「 こんな理論が何の役に立つのか？ 」 )
