Bradleyのマグニチュード論 −− LLMの新しい理論研究(1)

2025年10月3日 2025年10月15日 MaruyamaFujio

はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論にカテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x) で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1 Magnitude論の展開
　　Part 2 LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3 LLMとMagnitude論（論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。