言語の意味の数学的構造

2024年2月3日 2024年2月25日 MaruyamaFujio

セミナー概要

2/29 マルレク「言語の意味の数学的構造」受付開始しました

遅くなりました。2/29 マルレク「言語の意味の数学的構造」の申し込み受付開始しました。
次のサイトから、お申し込みください。 https://meaning-structure.peatix.com

このセミナーは、オンラインで開講します。セミナーは、リアルタイム配信ではなくYouTubeの限定配信で配信します。今回のセミナーは、約2時間を予定しています。セミナーの内容は、YouTubeの限定配信ですので、セミナー当日に限らず、セミナー開始日時以降であれば、いつでも都合の良い時間に見ることができます。ゆっくり視聴することをお勧めします。

「ニューラル言語モデル」への批判を紹介します

この間、マルレクでは数学者Tai-Danae Bradley の大規模言語モデルの数学的構造に対する研究を紹介してきました。

　・大規模言語モデルの数学的構造 I　https://www.marulabo.net/docs/llm-math/
　・大規模言語モデルの数学的構造 II　https://www.marulabo.net/docs/llm-math2/

それは、大規模言語モデルの性能に強い印象を受けたTai-Danaeが、大規模言語モデルの意味把握の新しいカテゴリー論的数学モデルを提案した、とても興味深いものでした。

ただ、今回のセミナーの目的は少し違ったものです。

Tai-Danae Bradley は、アメリカ数学会のジャーナルNotice誌の2024年2月号（今月号です）に投稿した次の新しい論文で、大胆な議論を展開しています。

　　“The structure of meaning in language:
　　parallel narratives in linear algebra and category theory”　 https://www.ams.org/journals/notices/202402/rnoti-p174.pdf

それは、大規模言語モデルを構築しているAI研究者の言語理論を「ニューラル言語モデル」論として、正面から批判しているものです。

「ニューラル言語モデル」批判の要点

今回のセミナーでは、あまり数学的議論の細部に入らずに、彼女の「ニューラル言語モデル」批判を紹介しようと思います。というのも、彼女の批判は、言語学的で哲学的なものです。

彼女は、次のように語ります。その議論の意図は数学抜きでも多くの人に理解してもらえるものだと思います。

「意味と形式は切り離せないという考え方は新しいものではないが、現在のAIをめぐる哲学的な議論には浸透していない。」

「構文対象の分析において意味が問題になるとすれば、それはすべて言語の形式に反映された構造的特徴に起因するということである。」

「しかし、現在のニューラル言語モデルが不十分なのは、まさにこの点である。というのも、ニューラル言語モデルは、そのタスクを実行する際に必然的に働く構造的特徴を明らかにしていないからである。」

彼女は、AIによる言語処理技術が大きな飛躍をみせ、社会的にも巨大なインパクトを与えようとしている今、ソシュールやチョムスキーらが切り開いてきた言語学の基本に立ち返って、言語を捉え返そうとしています。

もちろん、それは大規模言語モデルの成果を否定するものではなく、そこから出発して新しい発展を目指したものです。
AIに関わる人や言語学者だけが、言語について語る資格を持っているわけではありません。忘れてならないのは、言語は、我々人間の誰にとっても重要なものだということです。世の中のテクノロジーが急速に変化しているのは確かですが、言語学や哲学には、立ち止まって振り返るべき価値ある蓄積があると僕は考えています。

AI技術の数学的基礎の革新

この論文は数学的にも重要な指摘があります。

その一つは、ニューラルネットが、実際の言語使用の場面で極めて有益な、低い次元での意味の分散表現を「近似的に」生み出すメカニズムを具体的に示しているところです。それは線形代数ではよく知られているSVD分割の手法の応用として語られています。（もっとも、embeddingとSVD分割の関係の発見は彼女のオリジナルではないのですが）

もう一つは、将来のAIでの自然言語処理の数学的方法について、この論文は包括的なビジョンを示しています。具体的には、enriched カテゴリー論とテンソル・ネットワーク論の応用の重要性を強調しています。もちろん、その数学的ビジョンは、先に見た現在の「ニューラル言語モデル」批判と繋がっています。