はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x)  で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1  Magnitude論の展開
　　Part 2  LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3  LLMとMagnitude論 （論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。

セミナーに向けたセッション資料

BradleyのLLMのマグニチュード論への招待

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyの理論を学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

トークンとテキスト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMとテキスト上の誘導確率

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの確率計算の基本

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

論文前半の基本定理の証明

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMへのenrichedカテゴリー論の応用

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「LLMのマグニチュード論 1」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

LLMのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 first appeared on MaruLabo.

はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x)  で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1  Magnitude論の展開
　　Part 2  LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3  LLMとMagnitude論 （論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。

セミナーに向けたセッション資料

BradleyのLLMのマグニチュード論への招待

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyの理論を学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

トークンとテキスト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMとテキスト上の誘導確率

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの確率計算の基本

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

論文前半の基本定理の証明

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMへのenrichedカテゴリー論の応用

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「LLMのマグニチュード論 1」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

LLMのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 first appeared on MaruLabo.

はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x)  で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1  Magnitude論の展開
　　Part 2  LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3  LLMとMagnitude論 （論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。

セミナーに向けたセッション資料

BradleyのLLMのマグニチュード論への招待

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyの理論を学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

トークンとテキスト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMとテキスト上の誘導確率

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの確率計算の基本

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

論文前半の基本定理の証明

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMへのenrichedカテゴリー論の応用

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「LLMのマグニチュード論 1」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

LLMのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 first appeared on MaruLabo.

お詫び：タイトルを「マグニチュード論の展開」に変更しました。

セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。

当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。

「Bradleyのマグニチュード論」
Part 1  マグニチュード論の展開
　　Part 2  LLMモデルの拡大　 　 （論文の第二セクション）
　　Part 3  LLMとマグニチュード論 （論文の第三セクション）

今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。

次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。（Part 1 だけで未完に終わったページをうつしただけです。）

セミナー「マグニチュード論の展開」の構成

今回のセミナーは、次のような構成をしています。

「マグニチュード論の展開」
　　Part 1  マグニチュード論の登場
　　Part 2  enriched カテゴリー論とマグニチュード
　　Part 3  Lawvereのenriched カテゴリー論

以下、それぞれの内容を簡単に見ていきましょう。

マグニチュード論の登場

前回のセミナーは、現代のマグニチュード論の前身ともいうべき数学的対象の「大きさ」についての理論、カントールの「無限の大きさ」や、オイラーの「変わらぬ大きさ – 不変量」の理論を見てきました。また、20世紀のシャニュエルの「オイラー特性数」の研究や、レンスターの「生物多様性」の理論も「大きさ」の理論として取り上げてきました。

ただ、それらの多様な理論は、まだ「マグニチュード」という概念に辿り着いていたわけではありません。このセミナーでは、先のセミナーを受けて、21世紀の「マグニチュード」論の登場とその発展を見ていきたいと思います。

ゼータ関数とメビウス関数

ただ、マグニチュード論の理論的起源は、それにとどまりません。マグニチュード論のテキストの中でしばしば「ゼータ関数」や「メビウス反転」という言葉が登場します。それは、古典的・数論的な「リーマンのζ関数」と「メビウスのμ関数」に起源を持っています。

さらに遡って、両者の関係はオイラーの「ゼータ関数の無限積表示」を用いると明らかになるという話をします。またしてもオイラーが出てきます。（ただ、今回紹介する計算は初等的なものです。）

マグニチュード論の、深い数学的背景を知るために、こうした繋がりについて述べてみたいと思います。

カテゴリーのオイラー特性数 −− 2006年

このセクションでは、現代のマグニチュード論の最初の論文と見なされている Leinsterの2006年の論文「カテゴリーのオイラー特性数」　“The Euler characteristic of a category” を紹介します。ただ、この論文ではマグニチュードという言葉は使われてはおらず、それは「カテゴリーのオイラー特性数」として扱われています。

前回のセミナーで見てきたシャニュエルのオイラー特性数の研究が、現代のマグニチュード論につながっていることがわかると思います。

距離空間のマグニチュード −− 2011年

このセクションでは、 先に見た2006年の論文とは異なり、「マグニチュード」を論文タイトルに掲げた、Leinsterの2011年の論文を紹介します。今回のセミナーは、この論文の第一章の構成に従っています。
“The magnitude of metric spaces”
https://arxiv.org/abs/1012.5857　　

この論文で最初に導入されているのが「行列のマグニチュード」です。ここで導入される行列の「重み付け」とその双対の「co重み付け」の概念は、マグニチュード論にとって基本的なものです。
それは前回のセミナーのLeinsterの「生物多様性」の定義でも出てきていたものです。

enriched カテゴリー論とマグニチュード

このセクションでは、Leinsterのマグニチュード論の展開にとっても、また、今回のセミナーの本来のターゲットであったBradleyのマグニチュード論にとっても、両者にとって重要な飛躍である「enrichedカテゴリーのマグニチュード」の紹介です。

先に見たLeinsterの2011年の論文を彼自身がblogにした “The Magnitude of an Enriched Category”に依拠しています。。
https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html

重要なことは、マグニチュードの理解には、こうしたカテゴリー論的なアプローチが不可欠だということです。

カテゴリー論の利用では、LLMの意味理解の構造の解明にカテゴリー論のco−presheafの概念を導入したBradleyの研究は画期的なものだったと思います。その点では、Leinsterのマグニチュード論とBradleyの新しいLLM論は、理論的土台の多くを共有していると、僕は考えています。別のセミナーで紹介する予定のCoeckeらのQNLP（量子コンピュータを使った言語理解の取り組み）も同じ土台に立っています。カテゴリー論という共通の武器を得て、さまざまな分野で同時多発的に進行する研究の展開は、21世紀の科学・技術の発展の大きな特徴です。

このセクションの前半は、「enrichedカテゴリー論」の基本的な紹介に当てられています。ここでの「ダイアルのたとえ」は、とてもわかりやすいものだと思います。後半は、enrich化されたカテゴリーのマグニチュードをどのように定義できるのかという話をしています。

Lawvereのenriched カテゴリー論

このセクションでは、こうした展開を明確にビジョンとして持っていただけでなく、そうしたカテゴリー論の概念装置を数多く作り上げた数学者Lawvereの研究の一部を紹介します。

enrichedカテゴリー論とその応用について、最大の貢献者の一人は、Lawvereだと思います。前回のセミナーで紹介したシャニュエルは、Lawvereの共同研究者でした。現代のマグニチュード論は、Lawvereのビジョンにその多くを負っています。

ここでは、彼の「一般化された距離空間」の概念を紹介します。

Part 1 マグニチュード論の登場

ゼータ関数とメビウス関数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

カテゴリーのオイラー標数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

行列のマグニチュード

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 enriched カテゴリー論とマグニチュード

enrich化されたカテゴリー

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

enrich化されたカテゴリーのマグニチュード

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 3 Lawvereのenriched カテゴリー論

Lawvereの「一般化された距離空間」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

Bradleyのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post マグニチュード論の展開 −− LLMの新しい理論研究(1) first appeared on MaruLabo.