embeddingがグローバルな検索の世界に与える影響

このパートでは、AIの登場がグローバルなインターネット上の検索に与える影響を見ていきたいと思います。

検索の世界は、今、急速な変化の只中にあります。その変化を特徴づけるのは、機械が「ことばの意味を理解し始めた」という変化です。その変化は、「文字から意味への変化」と考えることができます。

「機械と人間が意味を共有するembeddingの世界」の登場が、検索の世界を変えようとしています。

21世紀のIT技術の二度目の大変化

それは、LLMの能力がRAGによって大きく拡大したという、狭いAI技術の変化の話ではないのです。

振り返ってみれば、GAFAM等のBig Techの成立に結果した21世紀初頭のITの世界の大きな変化は、Googleのグローバルな検索技術の登場によって先導されました。

その成功は、PageRank・MapReduceというアルゴリズムの実行を可能とするWebスケールの大規模分散システムと、「広告モデル」という新しいビジネス・モデルによって支えられたものでした。

四半世紀の時を経て、21世紀のIT技術・ITビジネスは二度目の大きな変化を迎えようとしています。

どのような変化を展望するのか

もっとも、予想される変化を現在のIT技術・ITビジネスの延長で考える必要はないと思います。

「機械の言語能力の獲得」は、機械にとっても人間にとっても歴史的な大事件です。より具体的に、「機械と人間が意味を共有するembeddingの世界」の進展は、機械にとっても人間にとっても重要な意味を持ちます。

それは、人類の情報共有と情報蓄積のスタイルが、大きく変わるだろうという展望を我々が持ちうることだと思います。

The post embeddingの共有・蓄積・検索の未来 first appeared on MaruLabo.

“Next token prediction” 描像を超える理論の探究

今回のセミナーの問題意識の一つは、LLMを「次のトークンを確率的に予測する」機械として捉える見方は、LLMの現実の振る舞いの説明としては、十分ではないのではというものです。

“LLM = Next token prediction Machine”という描像は、先のセミナーでも触れたように LLMの成功の技術的バックボーンの役割を果たしました。そのイメージは、一方で、「生成AI = 確率論的オーム」という誤解を生み出し、他方ではAI研究者を含む多くの人に、「LLM = ブラックボックス」であることを印象付けました。ただ、後者の認識は「誤解」ではありません。

LLMのある意味不思議な振る舞い、「LLMは、Next token predictionをするシステムだ」という還元論的特徴づけと、現実のLLMが示す柔軟で高度な意味理解能力の乖離がその典型的な例だと思いますが、そのメカニズムを、embedding論に遡って解明しようとする研究が活発に展開されていることです。

“Next token prediction” 描像を超えるLLM理論の探究は、現在のLLM研究のもっとも興味深い領域だと思います。
基本的には、カテゴリー論を使ってこの問題にアプローチする流儀と、AI研究者の「ブラック・ボックス問題」に切り込もうとする流儀の、二つのアプローチがあります。興味深いのは、両者の研究がクロスする状況が生まれていることです。

AI研究者のアプローチ

SAE Sparse Autoencoders

AnthropicのChristopher Olahらの「スパーズ・オートエンコーダー」 （Sparse Autoencoders） SAE理論が代表的な議論だと思います。

これらの議論は、ブラックボックスとしてのLLMの振る舞いを、説明可能なものとして解明しようとするものです。同時に、こうした研究は、LLMの安全性を人間がキチンとコントロールする可能性を開くものでもあります。

音声概説　SAE

個人的には、こうした研究は、VlassopoulosらのLLMの内部動作の解析と通じ、それをステップに BradleyのLLMのMagnitude論に通ずると考えています。

MI Mechanistic Interpretability

この分野では、Olahらによる議論に触発された「機械論的解釈可能性」(Mechanistic Interpretability) MI理論も 興味深いものです。

音声概説 MI

カテゴリー論的アプローチ

カテゴリー論的アプローチの代表者は、Tai−Danae Bradleyです。
彼女の 「co−presheaf 意味論」は、画期的なものです。

画像クリックで、それぞれのセミナーのまとめページにアクセスできます。

Bradley

彼女の最近の研究は、次の二つの点で大きな前進を遂げています。
・LLMの内部の確率計算の精緻な分析。プロンプトxが与えられた時、LLMが出力yを返す確率π( y | x )の計算式を与えました。
・その上で、「確率」を「距離」に変換し、「意味の幾何学」への道を開きました。

音声概説 Bradley1

音声概説 Bradley2

Vlassopoulos

Vlassopoulosは、基本的にBradley と同じアプローチをとっています。
興味深いのは、彼の議論は、SAE理論の「Superinpose」の議論と親和性が高いと、僕は感じています。

音声概説　Vlassopoulos

The post “Next token prediction” 描像を超えて first appeared on MaruLabo.

Part 1 機械と人間が意味を共有するembeddingの世界

このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。当初は、「機械と人間が意味を共有するembeddingの世界を考える」というタイトルで予告されたものです。タイトル変更に伴う、今後のセミナー開催の予定については、このページの最後をご覧ください。

前回のセミナー「機械の言語能力の獲得を考える」を振り返る

↑ 見出しクリックで前回セミナーの「まとめページ」へ
前回のセミナーのblog リストは、こちら をクリック。

前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。

その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。

この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。

語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。

「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。

マルレク「機械の言語能力の獲得を考える」のAIによる要約

意味の分散表現論、翻訳モデルから大規模言語モデルの成立の歴史を振り返ったこのセミナーは、embeddingに注目するこの連続セミナーの基本的な問題意識を示しています。

前回のセミナーのAIによる音声概要

このセミナーのAIによる音声概要は、次からアクセスできます。200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。

前回のセミナーのメインのpdf資料のAIによるまとめ

また、このセミナーのメインのpdf資料のAIによるまとめは、次のリンクからアクセスできます。
https://maruyama097.blogspot.com/2026/02/blog-post_22.html

セミナー資料は、次のリンクで公開済みです。「マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました」

機械と人間が意味を共有するembeddingの世界を考える

先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理解できるようになったからだと考えています。

ただ、LLMが Next token predictionマシンであるという一般的な認識と、それがコンテキストを含む言葉の意味を理解する能力として現れるという認識には、ギャップがあるように思います。

また、embeddingは、それ自身で既に「世界」についての情報を豊富に含んでいるように思えます。そうした特徴は外付けのRAGとは独立なものです。それは、embedding の生成メカニズムそのものに根ざしているはずです。

ただ、こうした問題の多くに、今回のセミナーでは、答えることができませんでした。予告したコンテンツを一回のセミナーに収めることが難しくなっていて、セミナーを分割することになりました。

embedding プログラミングを学ぶことの意味

今回のセミナーでは、直接embeddingを操作するembeddingプログラミングを紹介します。
AIが、ほとんどどんなプログラムも作ってくれる時代に、プリミティブなembeddingプログラミングを学ぶことの意味を確認しておきましょう。

機械と意味を通じ合うための「共通言語」としての理解

僕は、Embeddingの発見を「この4半世紀のAI研究の白眉」と高く評価し、それを「人間と機械の共通言語」と呼んでいます。また、人間にとってEmbeddingは、音声や文字に次ぐ「ことばの第三の形態」であるとも位置づけています。

単なるプログラミングテクニックとしてだけでなく、「機械がどのように言葉の意味を数値（ベクトル）として捉え、意味の近さを計算しているのか（コサイン類似度など）」を知ることは、機械の言語理解の本質に触れることであり、AIを活用する上での強力な土台となります。

信頼性の高いAIシステムの根幹技術であるため

LLMの弱点であるハルシネーションを抑制し、情報の透明性と正確性を担保する手法として「RAG（検索拡張生成）」が重要視されています。 RAGのパイプラインでは、テキストをEmbeddingに変換してベクトルデータベースに登録し、ユーザーの入力とのコサイン類似度を用いて関連情報を検索（Vector Search）するというプロセスが必須のステップとして組み込まれています。

AIがコード自体を書いてくれるとしても、この「データをどのようにチャンクに分割し、ベクトル化して検索させるか」というシステム全体の設計やチューニングは人間が行う必要があり、その裏側にある技術を理解しているかどうかがシステムの品質を左右します。

より高度なシステムへの進化に対応するため

AI技術は、単純なベクトル検索を行うものから、クエリの書き換えや再順位付けを行う「Advanced RAG」、さらにはAIが自律的に検索対象や再検索を判断する「Agentic RAG」へと急速に進化しています。また、今後は「embeddingの共有・蓄積・検索」が情報の世界に大きなインパクトを与えると予想されています。

AIにプログラミングを任せる時代だからこそ、ブラックボックスになりがちな「ベクトル空間における意味の検索」の仕組みを人間が直接理解しておくことで、AIに対してより高度な指示を出し、生成されたシステムの評価や改善を正確に行うことができるようになると考えられます。

Part 2 embedding プログラミング入門

Language Model と Embedding Model

多くのAI ベンダーは、Language Model (LLM) と並んで Embedding Modelを提供しています。

OpenAIの text-embedding-3-large, Googleのgemini-embedding-001をはじめとして、Cohere, Voyage AI, Mistral AI, Jina AI  等、多くのAIベンダーから多くのembeddingモデルが公開されています。オープンソースのHugging FaceのBGE(Beijing Academy of AI)もよく利用されているようです。

embedding体験入門

↑ 見出しクリックでpdfへ

Amazon レビュー情報からの意味的検索

データを準備する

↑ 見出しクリックでpdfへ

embeddingを利用したテキストの意味的検索

↑ 見出しクリックでpdfへ

Part 3 embeddingと検索技術の新しい展開

文字列検索と画像検索

↑ 見出しクリックでpdfへ

Vector Search の紹介

↑ 見出しクリックでpdfへ

マトリョーシカ −− embedding技術の革新

↑ 見出しクリックでpdfへ

Adaptive Classification

↑ 見出しクリックでpdfへ

Adaptive Retrieval

↑ 見出しクリックでpdfへ

今後のセミナーについて

前回のセミナーと今回のセミナーと合わせて、次のようなセミナーを開催することになります。準備中のセミナーを分割したので、それぞれのまとめページを別個に作成しました。下のセミナー・タイトルのクリックで、それぞれのセミナーのまとめページにジャンプできます。

「embeddingの共有・蓄積・検索の未来」

embedding技術が可能とする情報の共有と情報の蓄積と検索の未来について考えます。

“Next token prediction” 描像を超えて

“Next token prediction”のみかけ上の単純さの背後には、embeddingに表現される複雑な「意味の世界」が隠れています。

下の画像クリックで、それぞれのセミナーのまとめページにジャンプできます。

The post embeddingプログラミングの基礎 first appeared on MaruLabo.

はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x)  で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1  Magnitude論の展開
　　Part 2  LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3  LLMとMagnitude論 （論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。

セミナーに向けたセッション資料

BradleyのLLMのマグニチュード論への招待

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyの理論を学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

トークンとテキスト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMとテキスト上の誘導確率

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの確率計算の基本

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

論文前半の基本定理の証明

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMへのenrichedカテゴリー論の応用

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「LLMのマグニチュード論 1」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

LLMのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 first appeared on MaruLabo.

はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x)  で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1  Magnitude論の展開
　　Part 2  LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3  LLMとMagnitude論 （論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。

セミナーに向けたセッション資料

BradleyのLLMのマグニチュード論への招待

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyの理論を学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

トークンとテキスト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMとテキスト上の誘導確率

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの確率計算の基本

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

論文前半の基本定理の証明

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMへのenrichedカテゴリー論の応用

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「LLMのマグニチュード論 1」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

LLMのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 first appeared on MaruLabo.

はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x)  で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1  Magnitude論の展開
　　Part 2  LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3  LLMとMagnitude論 （論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。

セミナーに向けたセッション資料

BradleyのLLMのマグニチュード論への招待

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyの理論を学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

トークンとテキスト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMとテキスト上の誘導確率

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの確率計算の基本

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

論文前半の基本定理の証明

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMへのenrichedカテゴリー論の応用

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「LLMのマグニチュード論 1」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

LLMのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 first appeared on MaruLabo.

お詫び：タイトルを「マグニチュード論の展開」に変更しました。

セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。

当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。

「Bradleyのマグニチュード論」
Part 1  マグニチュード論の展開
　　Part 2  LLMモデルの拡大　 　 （論文の第二セクション）
　　Part 3  LLMとマグニチュード論 （論文の第三セクション）

今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。

次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。（Part 1 だけで未完に終わったページをうつしただけです。）

セミナー「マグニチュード論の展開」の構成

今回のセミナーは、次のような構成をしています。

「マグニチュード論の展開」
　　Part 1  マグニチュード論の登場
　　Part 2  enriched カテゴリー論とマグニチュード
　　Part 3  Lawvereのenriched カテゴリー論

以下、それぞれの内容を簡単に見ていきましょう。

マグニチュード論の登場

前回のセミナーは、現代のマグニチュード論の前身ともいうべき数学的対象の「大きさ」についての理論、カントールの「無限の大きさ」や、オイラーの「変わらぬ大きさ – 不変量」の理論を見てきました。また、20世紀のシャニュエルの「オイラー特性数」の研究や、レンスターの「生物多様性」の理論も「大きさ」の理論として取り上げてきました。

ただ、それらの多様な理論は、まだ「マグニチュード」という概念に辿り着いていたわけではありません。このセミナーでは、先のセミナーを受けて、21世紀の「マグニチュード」論の登場とその発展を見ていきたいと思います。

ゼータ関数とメビウス関数

ただ、マグニチュード論の理論的起源は、それにとどまりません。マグニチュード論のテキストの中でしばしば「ゼータ関数」や「メビウス反転」という言葉が登場します。それは、古典的・数論的な「リーマンのζ関数」と「メビウスのμ関数」に起源を持っています。

さらに遡って、両者の関係はオイラーの「ゼータ関数の無限積表示」を用いると明らかになるという話をします。またしてもオイラーが出てきます。（ただ、今回紹介する計算は初等的なものです。）

マグニチュード論の、深い数学的背景を知るために、こうした繋がりについて述べてみたいと思います。

カテゴリーのオイラー特性数 −− 2006年

このセクションでは、現代のマグニチュード論の最初の論文と見なされている Leinsterの2006年の論文「カテゴリーのオイラー特性数」　“The Euler characteristic of a category” を紹介します。ただ、この論文ではマグニチュードという言葉は使われてはおらず、それは「カテゴリーのオイラー特性数」として扱われています。

前回のセミナーで見てきたシャニュエルのオイラー特性数の研究が、現代のマグニチュード論につながっていることがわかると思います。

距離空間のマグニチュード −− 2011年

このセクションでは、 先に見た2006年の論文とは異なり、「マグニチュード」を論文タイトルに掲げた、Leinsterの2011年の論文を紹介します。今回のセミナーは、この論文の第一章の構成に従っています。
“The magnitude of metric spaces”
https://arxiv.org/abs/1012.5857　　

この論文で最初に導入されているのが「行列のマグニチュード」です。ここで導入される行列の「重み付け」とその双対の「co重み付け」の概念は、マグニチュード論にとって基本的なものです。
それは前回のセミナーのLeinsterの「生物多様性」の定義でも出てきていたものです。

enriched カテゴリー論とマグニチュード

このセクションでは、Leinsterのマグニチュード論の展開にとっても、また、今回のセミナーの本来のターゲットであったBradleyのマグニチュード論にとっても、両者にとって重要な飛躍である「enrichedカテゴリーのマグニチュード」の紹介です。

先に見たLeinsterの2011年の論文を彼自身がblogにした “The Magnitude of an Enriched Category”に依拠しています。。
https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html

重要なことは、マグニチュードの理解には、こうしたカテゴリー論的なアプローチが不可欠だということです。

カテゴリー論の利用では、LLMの意味理解の構造の解明にカテゴリー論のco−presheafの概念を導入したBradleyの研究は画期的なものだったと思います。その点では、Leinsterのマグニチュード論とBradleyの新しいLLM論は、理論的土台の多くを共有していると、僕は考えています。別のセミナーで紹介する予定のCoeckeらのQNLP（量子コンピュータを使った言語理解の取り組み）も同じ土台に立っています。カテゴリー論という共通の武器を得て、さまざまな分野で同時多発的に進行する研究の展開は、21世紀の科学・技術の発展の大きな特徴です。

このセクションの前半は、「enrichedカテゴリー論」の基本的な紹介に当てられています。ここでの「ダイアルのたとえ」は、とてもわかりやすいものだと思います。後半は、enrich化されたカテゴリーのマグニチュードをどのように定義できるのかという話をしています。

Lawvereのenriched カテゴリー論

このセクションでは、こうした展開を明確にビジョンとして持っていただけでなく、そうしたカテゴリー論の概念装置を数多く作り上げた数学者Lawvereの研究の一部を紹介します。

enrichedカテゴリー論とその応用について、最大の貢献者の一人は、Lawvereだと思います。前回のセミナーで紹介したシャニュエルは、Lawvereの共同研究者でした。現代のマグニチュード論は、Lawvereのビジョンにその多くを負っています。

ここでは、彼の「一般化された距離空間」の概念を紹介します。

Part 1 マグニチュード論の登場

ゼータ関数とメビウス関数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

カテゴリーのオイラー標数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

行列のマグニチュード

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 enriched カテゴリー論とマグニチュード

enrich化されたカテゴリー

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

enrich化されたカテゴリーのマグニチュード

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 3 Lawvereのenriched カテゴリー論

Lawvereの「一般化された距離空間」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

Bradleyのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post マグニチュード論の展開 −− LLMの新しい理論研究(1) first appeared on MaruLabo.

セミナーの構成

セミナーのまとめページはこちらです。
https://www.marulabo.net/docs/dreamerv3/

セミナーは次のような構成をしています。

Part 1 DeepMind DreamerV3とは何か
　　「AI とマインクラフトの世界」はじめに
　　DreamerV3の何が画期的なのか

Part 2 昔の話をしよう −- AIと「世界モデル」
　　Winogradの「積み木の世界」1970年
　　Brooks “Intelligent without representation” 1987年

Part 3 DreamerV3でのAI技術の飛躍
　　DreamerV3はEnder Dragonを倒せるか？
　　Diamondはどう獲得されたか？
　　DreamerV3でのAI技術の飛躍

Part 4 DeepMindの研究動向とDreamerV3
　　DeepMindの三つのプロジェクト
　　DeepMindのAI開発のビジョン
　　DeepMindのAI開発のビジョン

ディドロのオウム −− 昔の話をしよう (3)

音声概要

• AI がゲーム「マインクラフト」でダイヤを発掘する ！
• Winogradの「積み木の世界」1970年
• Brooks “Intelligent without representation” 1987年
• Diamondはどう獲得されたか？
• DeepMindのAI開発のビジョン

The post Deep Dive Audio 20250705 first appeared on MaruLabo.

公開したセミナー

講演資料

パートごとのドキュメントへのアクセスは、「公開詳細情報」をご利用ください。

講演ビデオ

↑ 見出しクリックで、セミナー全体のYouTube動画の再生リストにアクセスできます。

Deep Dive Audio 20250926

↑ 見出しクリックで、AIによるセミナーのコンテンツの音声概要を聞くことができます。
セミナー全体の音声概要「マグニチュードとは何か」は、こちらからもアクセスできます。

「マグニチュードとは何か」 音声による概要

公開詳細情報

↑ 見出しクリックでセミナーの公開詳細情報にアクセスできます。

セミナーに向けたセッション資料

9/27 マルレク「マグニチュードとは何か」へのお誘い

次回マルレクの予告編

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

セミナーに向けたショートムービーの再生リスト

Part 1: カントールの「無限の大きさ」

「数える」と「個数」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

無限を数える – カントールの順序数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

無限の個数 – カントールの基数論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2: オイラーの「変わらぬ大きさ」

「形」を数える – オイラーの「標数」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

オイラーの標数の「式の形」を考える

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

シャニュエル−−「負の集合」と「ポテトの長さ」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

「大きさ」と「オイラーの標数」を図解する

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 3: レンスターの「生物多様性の大きさ」

「生物多様性」の「大きさ」を考える

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

レンスターの「多様性」の定義を読む

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

類似度行列とマグニチュード論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Postscript

なぜ、オイラーなのか？

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post マグニチュードとは何か first appeared on MaruLabo.

Deep Dive Audio

マルレク「LLMと意味の理論モデル概説」の音声概要をまとめたページです。

LLMは意味をどう捉えるか？

この音声概要は、セミナー終了後に作成したものです。セミナー全体のまとめになっています。
個別的・技術的細部に入る前に、こちらからお聞きになることをお勧めします。

こちらから、直接アクセスできます。

LLMの謎にカテゴリー論で迫る

この概要では、今度の連続セミナーで中心的に取り上げることになる、Bradleyらの問題意識とカテゴリー論を利用した取り組みを主に紹介しています。

彼女の近年の研究の成果である「マグニチュード」論がどのようなものか、どのような役割が期待されているのかについて、わかりやすい解説になっています。

LLMのテキスト・データに隠された構造を探る

この概要も、Bradleyの問題意識の要約になっています。重複はありますが、重要なことなので、色々な切り口で語られるのはいいかなと思います。

米田の補題の解釈が少し詳しく語られています。また、、LLMに与えられるテキスト・データ自身に構造が内在しているという視点は大事なポイントだと思います。

自然言語理解と量子論

この概要では、BradleyとCoeckeの二人のアプローチの違いを概説しています。Bradlyらは、実際のテキスト・データの中に統計的な構造が隠されていると考えるのに対して、Coeckeらは文法構造が先在すると考えます。

両者のアプローチは対照的ですが、両者の統合の可能性も示唆されています。

進むLLMの内部構造の理解

LLMの内部の動作を解析したVlassopoulosらの研究が、現在のLLMと意味の理論研究とどう交わる可能性を持つかを概説しています。

QNLPの最新動向

このトラックでは、Coeckeらのグループの論文 “Scalable and interpretable quantum natural language processing: an implementation on trapped ions” https://arxiv.org/pdf/2409.08777 を紹介しています。

現在の量子コンピュータのスケーラビリティの弱点とTransformaer モデルの解釈可能性の弱点（いわゆる「ブラックボックス問題」）という両方の問題を解決しうるアイデアが提示されています。

The post Deep Dive Audio 20250816 first appeared on MaruLabo.