言語の意味の数学的構造
セミナー概要
2/29 マルレク「言語の意味の数学的構造」受付開始しました
遅くなりました。2/29 マルレク「言語の意味の数学的構造」の申し込み受付開始しました。
次のサイトから、お申し込みください。 https://meaning-structure.peatix.com
このセミナーは、オンラインで開講します。セミナーは、リアルタイム配信ではなくYouTubeの限定配信で配信します。今回のセミナーは、約2時間を予定しています。セミナーの内容は、YouTubeの限定配信ですので、セミナー当日に限らず、セミナー開始日時以降であれば、いつでも都合の良い時間に見ることができます。ゆっくり視聴することをお勧めします。
「ニューラル言語モデル」への批判を紹介します
この間、マルレクでは 数学者Tai-Danae Bradley の大規模言語モデルの数学的構造に対する研究を紹介してきました。
・大規模言語モデルの数学的構造 I https://www.marulabo.net/docs/llm-math/
・大規模言語モデルの数学的構造 II https://www.marulabo.net/docs/llm-math2/
それは、大規模言語モデルの性能に強い印象を受けたTai-Danaeが、大規模言語モデルの意味把握の新しいカテゴリー論的数学モデルを提案した、とても興味深いものでした。
ただ、今回のセミナーの目的は少し違ったものです。
Tai-Danae Bradley は、アメリカ数学会のジャーナルNotice誌の2024年2月号(今月号です)に投稿した次の新しい論文で、大胆な議論を展開しています。
“The structure of meaning in language:
parallel narratives in linear algebra and category theory” https://www.ams.org/journals/notices/202402/rnoti-p174.pdf
それは、大規模言語モデルを構築しているAI研究者の言語理論を「ニューラル言語モデル」論として、正面から批判しているものです。
「ニューラル言語モデル」批判の要点
今回のセミナーでは、あまり数学的議論の細部に入らずに、彼女の「ニューラル言語モデル」批判を紹介しようと思います。というのも、彼女の批判は、言語学的で哲学的なものです。
彼女は、次のように語ります。その議論の意図は数学抜きでも多くの人に理解してもらえるものだと思います。
「意味と形式は切り離せないという考え方は新しいものではないが、現在のAIをめぐる哲学的な議論には浸透していない。」
「構文対象の分析において意味が問題になるとすれば、それはすべて言語の形式に反映された構造的特徴に起因するということである。」
「しかし、現在のニューラル言語モデルが不十分なのは、まさにこの点である。というのも、ニューラル言語モデルは、そのタスクを実行する際に必然的に働く構造的特徴を明らかにしていないからである。」
彼女は、AIによる言語処理技術が大きな飛躍をみせ、社会的にも巨大なインパクトを与えようとしている今、ソシュールやチョムスキーらが切り開いてきた言語学の基本に立ち返って、言語を捉え返そうとしています。
もちろん、それは大規模言語モデルの成果を否定するものではなく、そこから出発して新しい発展を目指したものです。
AIに関わる人や言語学者だけが、言語について語る資格を持っているわけではありません。忘れてならないのは、言語は、我々人間の誰にとっても重要なものだということです。世の中のテクノロジーが急速に変化しているのは確かですが、言語学や哲学には、立ち止まって振り返るべき価値ある蓄積があると僕は考えています。
AI技術の数学的基礎の革新
この論文は数学的にも重要な指摘があります。
その一つは、ニューラルネットが、実際の言語使用の場面で極めて有益な、低い次元での意味の分散表現を「近似的に」生み出すメカニズムを具体的に示しているところです。それは線形代数ではよく知られているSVD分割の手法の応用として語られています。(もっとも、embeddingとSVD分割の関係の発見は彼女のオリジナルではないのですが)
もう一つは、将来のAIでの自然言語処理の数学的方法について、この論文は包括的なビジョンを示しています。具体的には、enriched カテゴリー論とテンソル・ネットワーク論の応用の重要性を強調しています。もちろん、その数学的ビジョンは、先に見た現在の「ニューラル言語モデル」批判と繋がっています。
今回のセミナーの目標
今回のセミナーでは、時間的な制約もあって、この論文の数学にはあまり立ち入ってお話しできないのは残念です。ただ、今回のセミナーを通じて、大きな流れとして、言語理論でも数学的なアプローチでも、言語処理をめぐる次のAI技術の革新が、さまざまな形で準備されつつあることを知ってもらえればと考えています。
The Structure of Meaning in Language
はじめに
( スライドのpdf blog:「マシンが壊れて、セミナー・タイトルが変わる」 )
オブジェクト vs. オブジェクト上の関数
あまり情報が与えられない、あるいは不完全な構造を持つ数学的対象𝑋が与えられたとしましょう。
Xを直接調べようとしても、それはXの要素・オブジェクトをいろいろ調べることに帰着するのですが、Xについてよくわからないことが起こります。
そう言う時、構造がよくわかっている対象Yをとって、XからYへの関数 Fun(X)を考えます。Fun(X)はYに値をとりますので、XよりはFun(X)の方が構造がわかりやすいということを期待できると言うことです。
「オブジェクトからオブジェクト上の関数へ」と言うのは、 Xだけに注目するのではなくFun(X)にもっと注目しようと言う視点の転換を促すスローガンだと思っていいと思います。
論文の"Objects Versus Functions on Objects"というセクションでは、こうしたオブジェクト上の関数への注目によって構成された数学的対象の例を三つほど挙げています。
⚫️ ベクトル空間
⚫️ (co)presheaf
⚫️ enriched category
Vector Space
( スライドのpdf blog:「オブジェクトからオブジェクト上の関数へ 」 )
presheaf と copresheaf
( スライドのpdf blog:「この部分は、この間のセミナーのまとめになっています 」 )
enriched category
( スライドのpdf blog:「 単純な例で enriched category を振り返る 」 )
自然言語処理での語の埋め込み
DNN と word embedding
( スライドのpdf blog:「 embeddingの不思議 」 )
embedding algorithm
( スライドのpdf blog:「 embeddingは行列の因数分解として解釈できる 」 )
意味の空間から意味の構造へ
この節では、体𝑘上に値を取る集合𝑋上の関数と、集合のカテゴリーSet または別のenrich化されたカテゴリー上に値を取るfunctorとの比較を念頭に置いて欲しい。
singular value decomposition
( スライドのpdf blog:「 線形代数、大事だと思う 」 )
profunctor
( スライドのpdf blog:「 profuncor は行列とよく似ている 」 )
Isbell adjunction
Formal concept
( スライドのpdf blog:「 展開は難しいのか易しいのか? 」 )
ニューラル言語モデル批判
Tai-Danaeの言語思想とニューラル言語モデル批判
( スライドのpdf blog:「 2月は短いです -- 路線転換 」 )
現実の経験的データからの構造の抽出の試み
( スライドのpdf blog:「 Tai-Danaiのニューラル言語学批判 」 )
語の構造の抽出
( スライドのpdf blog:「 これは、本当に意味だろうか? 」 )
数学的展望
( スライドのpdf blog:「 AI技術の数学的基礎の革新を目指して 」 )