はじめに

情報ネットワークの新しい構造

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

なぜ、「知識のハブの変化」を考えるのか？

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

「知識」のどのような領域に注目するのか

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

グローバルな検索の世界の変化

AIと検索

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

21世紀のIT技術の二度目の大変化

それは、LLMの能力がRAGによって大きく拡大したという、狭いAI技術の変化の話ではないのです。

振り返ってみれば、GAFAM等のBig Techの成立に結果した21世紀初頭のITの世界の大きな変化は、Googleのグローバルな検索技術の登場によって先導されました。

その成功は、PageRank・MapReduceというアルゴリズムの実行を可能とするWebスケールの大規模分散システムと、「広告モデル」という新しいビジネス・モデルによって支えられたものでした。

四半世紀の時を経て、21世紀のIT技術・ITビジネスは二度目の大きな変化を迎えようとしています。

どのような変化を展望するのか

もっとも、予想される変化を現在のIT技術・ITビジネスの延長で考える必要はないと思います。

「機械の言語能力の獲得」は、機械にとっても人間にとっても歴史的な大事件です。より具体的に、「機械と人間が意味を共有するembeddingの世界」の進展は、機械にとっても人間にとっても重要な意味を持ちます。

それは、人類の情報共有と情報蓄積のスタイルが、大きく変わるだろうという展望を我々が持ちうることだと思います。

The post 「知識のハブ」の変化を考える first appeared on MaruLabo.

“Next token prediction” 描像を超える理論の探究

今回のセミナーの問題意識の一つは、LLMを「次のトークンを確率的に予測する」機械として捉える見方は、LLMの現実の振る舞いの説明としては、十分ではないのではというものです。

“LLM = Next token prediction Machine”という描像は、先のセミナーでも触れたように LLMの成功の技術的バックボーンの役割を果たしました。そのイメージは、一方で、「生成AI = 確率論的オーム」という誤解を生み出し、他方ではAI研究者を含む多くの人に、「LLM = ブラックボックス」であることを印象付けました。ただ、後者の認識は「誤解」ではありません。

LLMのある意味不思議な振る舞い、「LLMは、Next token predictionをするシステムだ」という還元論的特徴づけと、現実のLLMが示す柔軟で高度な意味理解能力の乖離がその典型的な例だと思いますが、そのメカニズムを、embedding論に遡って解明しようとする研究が活発に展開されていることです。

“Next token prediction” 描像を超えるLLM理論の探究は、現在のLLM研究のもっとも興味深い領域だと思います。
基本的には、カテゴリー論を使ってこの問題にアプローチする流儀と、AI研究者の「ブラック・ボックス問題」に切り込もうとする流儀の、二つのアプローチがあります。興味深いのは、両者の研究がクロスする状況が生まれていることです。

AI研究者のアプローチ

SAE Sparse Autoencoders

AnthropicのChristopher Olahらの「スパーズ・オートエンコーダー」 （Sparse Autoencoders） SAE理論が代表的な議論だと思います。

これらの議論は、ブラックボックスとしてのLLMの振る舞いを、説明可能なものとして解明しようとするものです。同時に、こうした研究は、LLMの安全性を人間がキチンとコントロールする可能性を開くものでもあります。

音声概説　SAE

個人的には、こうした研究は、VlassopoulosらのLLMの内部動作の解析と通じ、それをステップに BradleyのLLMのMagnitude論に通ずると考えています。

MI Mechanistic Interpretability

この分野では、Olahらによる議論に触発された「機械論的解釈可能性」(Mechanistic Interpretability) MI理論も 興味深いものです。

音声概説 MI

カテゴリー論的アプローチ

カテゴリー論的アプローチの代表者は、Tai−Danae Bradleyです。
彼女の 「co−presheaf 意味論」は、画期的なものです。

画像クリックで、それぞれのセミナーのまとめページにアクセスできます。

Bradley

彼女の最近の研究は、次の二つの点で大きな前進を遂げています。
・LLMの内部の確率計算の精緻な分析。プロンプトxが与えられた時、LLMが出力yを返す確率π( y | x )の計算式を与えました。
・その上で、「確率」を「距離」に変換し、「意味の幾何学」への道を開きました。

音声概説 Bradley1

音声概説 Bradley2

Vlassopoulos

Vlassopoulosは、基本的にBradley と同じアプローチをとっています。
興味深いのは、彼の議論は、SAE理論の「Superinpose」の議論と親和性が高いと、僕は感じています。

音声概説　Vlassopoulos

The post “Next token prediction” 描像を超えて first appeared on MaruLabo.

Part 1 機械と人間が意味を共有するembeddingの世界

このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。当初は、「機械と人間が意味を共有するembeddingの世界を考える」というタイトルで予告されたものです。タイトル変更に伴う、今後のセミナー開催の予定については、このページの最後をご覧ください。

前回のセミナー「機械の言語能力の獲得を考える」を振り返る

↑ 見出しクリックで前回セミナーの「まとめページ」へ
前回のセミナーのblog リストは、こちら をクリック。

前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。

その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。

この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。

語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。

「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。

マルレク「機械の言語能力の獲得を考える」のAIによる要約

意味の分散表現論、翻訳モデルから大規模言語モデルの成立の歴史を振り返ったこのセミナーは、embeddingに注目するこの連続セミナーの基本的な問題意識を示しています。

前回のセミナーのAIによる音声概要

このセミナーのAIによる音声概要は、次からアクセスできます。200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。

前回のセミナーのメインのpdf資料のAIによるまとめ

また、このセミナーのメインのpdf資料のAIによるまとめは、次のリンクからアクセスできます。
https://maruyama097.blogspot.com/2026/02/blog-post_22.html

セミナー資料は、次のリンクで公開済みです。「マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました」

機械と人間が意味を共有するembeddingの世界を考える

先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理解できるようになったからだと考えています。

ただ、LLMが Next token predictionマシンであるという一般的な認識と、それがコンテキストを含む言葉の意味を理解する能力として現れるという認識には、ギャップがあるように思います。

また、embeddingは、それ自身で既に「世界」についての情報を豊富に含んでいるように思えます。そうした特徴は外付けのRAGとは独立なものです。それは、embedding の生成メカニズムそのものに根ざしているはずです。

ただ、こうした問題の多くに、今回のセミナーでは、答えることができませんでした。予告したコンテンツを一回のセミナーに収めることが難しくなっていて、セミナーを分割することになりました。

embedding プログラミングを学ぶことの意味

今回のセミナーでは、直接embeddingを操作するembeddingプログラミングを紹介します。
AIが、ほとんどどんなプログラムも作ってくれる時代に、プリミティブなembeddingプログラミングを学ぶことの意味を確認しておきましょう。

機械と意味を通じ合うための「共通言語」としての理解

僕は、Embeddingの発見を「この4半世紀のAI研究の白眉」と高く評価し、それを「人間と機械の共通言語」と呼んでいます。また、人間にとってEmbeddingは、音声や文字に次ぐ「ことばの第三の形態」であるとも位置づけています。

単なるプログラミングテクニックとしてだけでなく、「機械がどのように言葉の意味を数値（ベクトル）として捉え、意味の近さを計算しているのか（コサイン類似度など）」を知ることは、機械の言語理解の本質に触れることであり、AIを活用する上での強力な土台となります。

信頼性の高いAIシステムの根幹技術であるため

LLMの弱点であるハルシネーションを抑制し、情報の透明性と正確性を担保する手法として「RAG（検索拡張生成）」が重要視されています。 RAGのパイプラインでは、テキストをEmbeddingに変換してベクトルデータベースに登録し、ユーザーの入力とのコサイン類似度を用いて関連情報を検索（Vector Search）するというプロセスが必須のステップとして組み込まれています。

AIがコード自体を書いてくれるとしても、この「データをどのようにチャンクに分割し、ベクトル化して検索させるか」というシステム全体の設計やチューニングは人間が行う必要があり、その裏側にある技術を理解しているかどうかがシステムの品質を左右します。

より高度なシステムへの進化に対応するため

AI技術は、単純なベクトル検索を行うものから、クエリの書き換えや再順位付けを行う「Advanced RAG」、さらにはAIが自律的に検索対象や再検索を判断する「Agentic RAG」へと急速に進化しています。また、今後は「embeddingの共有・蓄積・検索」が情報の世界に大きなインパクトを与えると予想されています。

AIにプログラミングを任せる時代だからこそ、ブラックボックスになりがちな「ベクトル空間における意味の検索」の仕組みを人間が直接理解しておくことで、AIに対してより高度な指示を出し、生成されたシステムの評価や改善を正確に行うことができるようになると考えられます。

Part 2 embedding プログラミング入門

Language Model と Embedding Model

多くのAI ベンダーは、Language Model (LLM) と並んで Embedding Modelを提供しています。

OpenAIの text-embedding-3-large, Googleのgemini-embedding-001をはじめとして、Cohere, Voyage AI, Mistral AI, Jina AI  等、多くのAIベンダーから多くのembeddingモデルが公開されています。オープンソースのHugging FaceのBGE(Beijing Academy of AI)もよく利用されているようです。

embedding体験入門

↑ 見出しクリックでpdfへ

Amazon レビュー情報からの意味的検索

データを準備する

↑ 見出しクリックでpdfへ

embeddingを利用したテキストの意味的検索

↑ 見出しクリックでpdfへ

Part 3 embeddingと検索技術の新しい展開

文字列検索と画像検索

↑ 見出しクリックでpdfへ

Vector Search の紹介

↑ 見出しクリックでpdfへ

マトリョーシカ −− embedding技術の革新

↑ 見出しクリックでpdfへ

Adaptive Classification

↑ 見出しクリックでpdfへ

Adaptive Retrieval

↑ 見出しクリックでpdfへ

今後のセミナーについて

前回のセミナーと今回のセミナーと合わせて、次のようなセミナーを開催することになります。準備中のセミナーを分割したので、それぞれのまとめページを別個に作成しました。下のセミナー・タイトルのクリックで、それぞれのセミナーのまとめページにジャンプできます。

「embeddingの共有・蓄積・検索の未来」

embedding技術が可能とする情報の共有と情報の蓄積と検索の未来について考えます。

“Next token prediction” 描像を超えて

“Next token prediction”のみかけ上の単純さの背後には、embeddingに表現される複雑な「意味の世界」が隠れています。

下の画像クリックで、それぞれのセミナーのまとめページにジャンプできます。

The post embeddingプログラミングの基礎 first appeared on MaruLabo.

Transformerの登場

• RNNからTransformerへ
  https://drive.google.com/file/d/1U6mDCZDaI1mPF95a3w54jjGHp06y-mIj/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/RNNからTransformer.mp3
• Transformerのアーキテクチャー
  https://drive.google.com/file/d/1Ko2XoHHpMIad4diYBZeybK7faCLTft8K/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/Transformerのアーキテクチャー.mp3

[ai_playlist id="7352"]

翻訳モデルから大規模言語モデルへ

EncoderとDecoderの分離からDecoder OnlyのLLMへ

• LLMはなぜ翻訳モデルから生まれたのか
  https://drive.google.com/file/d/16LvxRmXHoHjbfXNEPC6WIhX1t0zkqRNi/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/LLMはなぜ翻訳モデルから生まれたのか.mp3
• なぜLLMはエンコーダを捨てたのか
  https://drive.google.com/file/d/1teYuSe95NFp5Kq18yMu1JXz40nQmidIA/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/なぜLLMはエンコーダを捨てたのか.mp3
• AIはなぜ「理解」より「生成」を選んだか
  https://drive.google.com/file/d/1eVLt4pJ6lSw1r3Ke0WQ3tVPzlt-go2jx/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/AIはなぜ「理解」より「生成」を選んだか.mp3
• なぜdecoder−onlyがAIの覇権を握ったのか
  https://drive.google.com/file/d/1MfbGcIgRNR4rGZFgLYxYggzJbZxF9VHI/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/なぜdecoder−onlyがAIの覇権を握ったのか.mp3

[ai_playlist id="7358"]

The post Deep Dive Audio 20260131 first appeared on MaruLabo.

当初、「機械の言語能力の獲得から考える embeddingの共有・蓄積・検索の未来」というテーマでセミナーを開催することを考えていたのですが、長くなりそうなので、セミナーを次の二つに分けることにしました。

• 「機械の言語能力の獲得を考える」
• 「機械と人間が意味を共有する embeddingの世界を考える」

このWebページやYouTubeと並行して、次のblogリストからも関連コンテンツにアクセスできます。https://maruyama097.blogspot.com/2025/12/embedding-blog.html

セミナー概要

今回のセミナーのアプローチ

↑ 見出しクリックでpdfへ

今回のセミナー「機械の言語能力の獲得を考える」は、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉える議論を展開したものです。

機械が新しく獲得した言語能力の中核は、「意味を理解する」能力だと僕は考えています。
今回のセミナーでは、機械の言語能力の獲得の中核を、機械の意味を理解する能力の獲得とする議論を行います。

中心問題は、機械は、どのようにして「意味を理解する」ようになったのか？ という問題です。
この問題については、21世紀初めからの「意味の分散表現論」の発展が一つの答えを与えてくれると思っています。

セミナーでは、意味のベクトル表現の発見に始まり、翻訳モデルから大規模言語モデルへの発展へと結実する理論の歴史を振り返ろうと思います。

こうしたアプローチの意味と課題

「言語能力の獲得」→「意味の理解能力の獲得」→「意味の分散表現論の発展」というスキームや、AI技術の発展を分散表現論の歴史で説明するアプローチには、多くのものを捨象しているという問題もあります。

AGI論の功罪

アルトマンは、2035年までに、あらゆる個人が「2025年時点の全人類に匹敵する知的能力」を手に入れることができると予測しています。
https://www.marketingaiinstitute.com/blog/the-ai-show-episode-135

一方、イリヤ・サツケヴァーは、アルトマンとは対照的に、AIがもたらす「実在的なリスク(Existential Risk)」に対して恐怖の念を抱いています。彼は、AIが単なるプログラムではなく、いつか人間を凌駕し、制御不能になる可能性を技術的必然として捉えています。
https://www.ibm.com/think/topics/superalignment

昔、ある人がAIに次のような皮肉な定義を与えたことがあります。「AIとは、まだできていないこと全てである」”Al is whatever hasn’t been done vet.”　( “Gödel, Escher, Bach” D. R. Hofstadter ) AGI (artificial general intelligence)の議論は、それに似ています。

楽観的なAGI論も悲観的なAGI論もあるのですが、AGI論は、AI技術の到達点の評価ではなくまだできていないこと、まだ起きていないことを含んだ未来の予想です。その予想には、傾聴すべき議論も含まれていることもあるのですが、ある場合には、AIにさらなる投資を呼び込むための誇大宣伝に使われています。

言語能力と「知性」

僕は、人間の知性（あるいは、知能）と人間の言語能力を区別しています。人間の知能は複雑な構造を持ち、その最も基本的な構成要素、最も重要な基礎が言語能力なのだと。

親と子も恋人同士の二人も老人ホームの老人もことばを使います。SNSで罵倒し合うのにも、戦争を呼びかけるのにも戦争に反対するのにもことばが必要です。捏造された論文もノーベル賞の対象となる論文も、ことばで書かれています。これらすべては、人間がひとしく言語能力を持ってコミュニケーションできるから可能になっていることです。

言語能力をもつ人間がそうであるように、機械が人間並の言語能力を獲得したとしても、それだけで優れた「知性」を発揮するかはわかりません。機械の言語能力の獲得は、機械が正しいことを言うことを意味するものではありません。ただ、言語能力なしには、優れた知性に成長することはできないと考えています。

その意味では、機械の言語能力の獲得をAI技術の重要な到達点と考えることは、大きな意味を持っていると考えています。

理論の歴史が示すもの −− embedding概念の発見とその意味

人工知能の技術にも、短いながら歴史があります。その技術の歴史を貫いて、理論の歴史があります。今回のセミナーでは、AI技術の理論の歴史を振り返ってみたいと思います。

重要なことは、この4半世紀のAI技術の理論史は、「意味とは何か」を中心的なテーマとして、それを探究する理論の旅に他ならなかったということです。それが、今回のセミナーで展開する「意味の分散表現論」の発展史です。　

機械が意味を理解させるためには、人間が意味とは何かを知らなくてはなりません。また、それを実装として機械に伝えなくてはなりません。いろんな試行錯誤があったのですが、意味を多次元のベクトル、embedding として表現するという方法に辿り着き、その応用に磨きをかけていきますます。

意味を表現するembeddingという概念の発見は、この4半世紀のAI研究の白眉だと思います。我々は、embedding という人間と機械の共通言語を獲得し、それを通じて機械と意味を通じ合うことができるようになったのです。

人間にとって、embedding は、話す聞くことばとしての音声と、書く読むことばとしての文字に次ぐ、ことばの第三の形態だと僕は考えています。

次回のセミナーで扱うこと

残念ながら、今回のセミナーでは、このembeddingの獲得が、情報の世界でどのようなインパクトを持つかは十分に語ることができません。

それについては、冒頭に述べたように、次回のセミナーは「embeddingの共有・蓄積・検索の未来」として展開したいと思っています。

関連コンテンツへのアクセス

• 「機械の言語能力の獲得を考える」セミナーの申し込みページ
• 「機械の言語能力の獲得を考える」セミナーのまとめページ
• 「機械の言語能力の獲得を考える」ショートムービー再生リスト
• 「機械の言語能力の獲得を考える」 blogリスト

Part 1 意味の分散表現の系譜

Bengio 「次元の呪い」

Hinton Autoencoder / 意味的ハッシング

意味の分散表現論の登場

↑↓ 見出し/画像クリックでblogへ

文の意味のベクトル表現の発見

↑↓ 見出し/画像クリックでblogへ

Transformerの登場

↑↓ 見出し/画像クリックでblogへ

Part 2 翻訳モデルから大規模言語モデル LLM への進化

Transformerの登場と成功は、AI技術と意味の分散表現論の大きな飛躍でした。このPart 2では、AI技術と意味の分散表現論のさらに大きな飛躍、翻訳モデルから大規模言語モデルへの移行という現代のAI技術に直接つながる重要な進化を取り上げます。

翻訳モデルから大規模言語モデルへの進化 LLM 概要　（音声概要）

↑ 見出しクリックでpdfへ

TransformerからBERTとGPTへ

翻訳モデルから大規模言語モデルへの進化の過程において、Transformerの影響は決定的なものでした。大規模言語モデルへの進化において大きな役割を果たした、Post Transformer の代表的な二つのアーキテクチャー BERTとGPTの末尾の ‘T’ がTransfomerの ‘T’ であることは、その影響の大きさを表しています。

　　BERT : Bidirectional Encoder Representations from Transformers
　　GPT : Generative pre-trained transformer

TransfomerのEncoderとDecoderの分離とその継承

ただ、Transformerの達成した成果をどのように継承するのかという点で、BERTとGPTのとったアプローチは真逆と言っていい対照的なものでした。両者は、Transformerの二つの基本的な構成要素 EncoderとDecoderを分離し、その一方だけを継承したのです。

　　BERT : TransformerからEncoderのみを継承。Encoder−only アーキテクチャー
　　GPT : TransformerからDecoderのみを継承。Decoder−only アーキテクチャー

Encoder−only, Decoder−onlyのアーキテクチャーの特徴

Transformerは、翻訳システムとして実装されていたのですが、BERTもGPTも、もはやかつてのようなSequence to Sequenceの翻訳システムではありませんでした。AIから見れば「翻訳」というのは、AIが自然言語に対して行いうる可能な仕事の一つに過ぎません。翻訳モデルの解体とより一般的なAIのモデルの模索がはじまったのです。

それでは、Encoder−only, Decoder−onlyのアーキテクチャーは、どのような特徴を持っていたのでしょう？

　　BERT : Encoder−only アーキテクチャー : 言語の意味の深い理解能力
　　GPT : Decoder−only アーキテクチャー : 言語の自由な生成能力

Decoder−onlyアーキテクチャーの勝利としての大規模言語モデル LLM の成立

重要なことは、Transformerから分岐した二つのAIアーキテクチャーのうち、Decoder−onlyアーキテクチャーの勝利として、大規模言語モデルが成立したということです。

なぜ、Decoder−onlyアーキテクチャーが勝利したかについては、この概要ではなく、別のセッションで解説したいと思います。そこでの議論は、現在の大規模言語モデルの特徴をよりよく理解するために重要な情報が含まれています。

補足情報 (音声概要)

概要とはいえ、少し情報が少ないので、次の二つの音声概要にアクセスしていただけますか？

• 「Transformerのアーキテクチャー」

• 「LLMはなぜ翻訳モデルから生まれたの」

このほかに、まだ、整理されていないのですが（ごめんなさい）、いろんな切り口で音声概要を作ってみました。、興味がありましたら、こちらもご利用ください。

• 「EncoderとDecoderの分離からDecoder OnlyのLLMへ」

[ai_playlist id="7358"]

Part 3 LLM アーキテクチャーの成功を支えたもの

Next token Prediction

↑ 見出しクリックでpdfへ

Self-Supervised Learning

↑ 見出しクリックでpdfへ

In-Context learningとRetrieval-Augmented Generation

↑ 見出しクリックでpdfへ

The post 機械の言語能力の獲得を考える first appeared on MaruLabo.

The post Deep Dive Audio 20260106 first appeared on MaruLabo.

はじめに

今回のマルレクは、LLMの理論研究で、もっとも新しく最も先進的な業績である Tai−Danae Bradleyの論文 “The Magnitude of Categories of Texts Enriched by Language Models”
https://arxiv.org/pdf/2501.06662 の紹介をしようと思います。

この論文が扱っている二つの課題

この論文は、二つの問題を扱っています。

一つは、LLMの意味論に カテゴリー論的基礎を与えた 2022年のBradleyらの論文
“An enriched category theory of language: From syntax to semantics.”
https://arxiv.org/pdf/2106.07890

のアプローチを、たとえば、LLMが行っている「プロンプトの入力」「プロンプトへの回答の出力」というLLMの現実の振る舞いの解釈にまで拡大するという課題です。

もう一つの課題は、拡大されたLLMの理論とmagnitudeの理論を結びつけることです。

LLMモデルの拡大

第一の課題である 2022年論文の拡大については、この論文の第二セクション “2. Obtaining Enriched Categories from an LLM” で展開されています。

2022年の論文は、LLM意味論にco−presheaf意味論というフレームを導入し、さらにそのカテゴリーのオブジェクト間の射に、enrichedカテゴリーの手法で、LLMと同じように[0,1]の値を持つ確率値を付与するというものでした。それは、LLMの振る舞いと意味の数学的モデルとしては、画期的なものでした。ただ、テキストxが与えられた時のテキストy の条件付き確率 𝜋( y | x )を直接与えるものではありませんでした。

今回の論文では、以前の[0,1]の値を取る確率モデルを [0, ♾️] の値を取るLawvereの一般化された距離空間のモデルに変えています。ここでもenrichedカテゴリー論の手法が利用されます。

さらに、文頭を表すトークン’⊥’ と文末を表すトークン’†’を導入して、’⊥’ で始まり’†’ でおわるプロンプトxに対して、テキスト生成の終了条件を明示的に示しつつ、co−presheafに対応する 𝜋( ー | x )の計算ができるようになりました。

論文のモデルは、現実のLLMの具体的な振る舞いを解釈することを目指したものです。

LLMとmagnitude論

拡大されたLLMの理論とmagnitudeの理論を結びつけるという二つ目の課題は、この論文の第三セクション “3. Magnitude” で展開されています。

論文では、要素が文字列 x, y, … であり、二点間の距離が d( x, y ) = − ln π( y | x)  で与えられる一般化された距離空間 M のmagnitudeが研究されています。こでのMは、LLMの生成する距離空間に他なりません。

論文のタイトル “The Magnitude of Categories of Texts Enriched by Language Models” 「言語モデルによってenrich化されたテキストのカテゴリーのマグニチュード」は、このパートが、論文の主要な内容であることを示しています。実際、多くの結果が語られています。

論文は、M のmagnitude 関数 f( t ) は、テキスト x (プロンプト) に対する、次トークン確率分布 p( − | x ) の Tsallis t−エントロピーと、モデルの可能な出力のカーディナリティの和であることを証明しています。

また、f の t = 1 における導関数はシャノンエントロピーの和を再現すること、これによりmagnitudeを分割関数と見なすことが正当化されると述べています。

さらに論文は、M のmagnitude関数をmagnitude のホモロジーにおけるオイラー特性として表現し、第0次および第1次magnitude Homology群の明示的な記述を提供しています。

セミナーの構成

前回のセミナーでMagnitude論の紹介を始めたのですが、まだ、入り口のところで終わっています。今回のセミナーのメインの論文の解説に入る前に、そこを補う必要があると思っています。今回のセミナーでは、次のような構成を考えています。

　　Part 1  Magnitude論の展開
　　Part 2  LLMモデルの拡大　　（論文の第二セクションに対応）
　　Part 3  LLMとMagnitude論 （論文の第三セクションに対応）

実際のセッションは、それぞれのPartを行ったり来たりする形で進めたいと思っています。

セミナーに向けたセッション資料

BradleyのLLMのマグニチュード論への招待

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyの理論を学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

トークンとテキスト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMとテキスト上の誘導確率

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの確率計算の基本

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

論文前半の基本定理の証明

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMへのenrichedカテゴリー論の応用

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「LLMのマグニチュード論 1」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

LLMのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 first appeared on MaruLabo.

お詫び：タイトルを「マグニチュード論の展開」に変更しました。

セミナーのタイトルを、「Bradleyのマグニチュード論」から「マグニチュード論の展開」 に変更しました。すみません。

当初、今月は、Tai−Danae Bradleyの論文”The Magnitude of Categories of Texts Enriched by Language Models” https://arxiv.org/pdf/2501.06662　を素材としてで、次のような構成を考えていました。

「Bradleyのマグニチュード論」
Part 1  マグニチュード論の展開
　　Part 2  LLMモデルの拡大　 　 （論文の第二セクション）
　　Part 3  LLMとマグニチュード論 （論文の第三セクション）

今回のセミナーは、予告した内容の Part 1 を、一つのセミナーに独立させたものになります。

次回のセミナーは、今回入り口の前で止まってしまった「Bradleyのマグニチュード論」をキチンと紹介したいと思っています。新しいURLで「Bradleyのマグニチュード論」のまとめページを作りました。（Part 1 だけで未完に終わったページをうつしただけです。）

セミナー「マグニチュード論の展開」の構成

今回のセミナーは、次のような構成をしています。

「マグニチュード論の展開」
　　Part 1  マグニチュード論の登場
　　Part 2  enriched カテゴリー論とマグニチュード
　　Part 3  Lawvereのenriched カテゴリー論

以下、それぞれの内容を簡単に見ていきましょう。

マグニチュード論の登場

前回のセミナーは、現代のマグニチュード論の前身ともいうべき数学的対象の「大きさ」についての理論、カントールの「無限の大きさ」や、オイラーの「変わらぬ大きさ – 不変量」の理論を見てきました。また、20世紀のシャニュエルの「オイラー特性数」の研究や、レンスターの「生物多様性」の理論も「大きさ」の理論として取り上げてきました。

ただ、それらの多様な理論は、まだ「マグニチュード」という概念に辿り着いていたわけではありません。このセミナーでは、先のセミナーを受けて、21世紀の「マグニチュード」論の登場とその発展を見ていきたいと思います。

ゼータ関数とメビウス関数

ただ、マグニチュード論の理論的起源は、それにとどまりません。マグニチュード論のテキストの中でしばしば「ゼータ関数」や「メビウス反転」という言葉が登場します。それは、古典的・数論的な「リーマンのζ関数」と「メビウスのμ関数」に起源を持っています。

さらに遡って、両者の関係はオイラーの「ゼータ関数の無限積表示」を用いると明らかになるという話をします。またしてもオイラーが出てきます。（ただ、今回紹介する計算は初等的なものです。）

マグニチュード論の、深い数学的背景を知るために、こうした繋がりについて述べてみたいと思います。

カテゴリーのオイラー特性数 −− 2006年

このセクションでは、現代のマグニチュード論の最初の論文と見なされている Leinsterの2006年の論文「カテゴリーのオイラー特性数」　“The Euler characteristic of a category” を紹介します。ただ、この論文ではマグニチュードという言葉は使われてはおらず、それは「カテゴリーのオイラー特性数」として扱われています。

前回のセミナーで見てきたシャニュエルのオイラー特性数の研究が、現代のマグニチュード論につながっていることがわかると思います。

距離空間のマグニチュード −− 2011年

このセクションでは、 先に見た2006年の論文とは異なり、「マグニチュード」を論文タイトルに掲げた、Leinsterの2011年の論文を紹介します。今回のセミナーは、この論文の第一章の構成に従っています。
“The magnitude of metric spaces”
https://arxiv.org/abs/1012.5857　　

この論文で最初に導入されているのが「行列のマグニチュード」です。ここで導入される行列の「重み付け」とその双対の「co重み付け」の概念は、マグニチュード論にとって基本的なものです。
それは前回のセミナーのLeinsterの「生物多様性」の定義でも出てきていたものです。

enriched カテゴリー論とマグニチュード

このセクションでは、Leinsterのマグニチュード論の展開にとっても、また、今回のセミナーの本来のターゲットであったBradleyのマグニチュード論にとっても、両者にとって重要な飛躍である「enrichedカテゴリーのマグニチュード」の紹介です。

先に見たLeinsterの2011年の論文を彼自身がblogにした “The Magnitude of an Enriched Category”に依拠しています。。
https://golem.ph.utexas.edu/category/2011/06/the_magnitude_of_an_enriched_c.html

重要なことは、マグニチュードの理解には、こうしたカテゴリー論的なアプローチが不可欠だということです。

カテゴリー論の利用では、LLMの意味理解の構造の解明にカテゴリー論のco−presheafの概念を導入したBradleyの研究は画期的なものだったと思います。その点では、Leinsterのマグニチュード論とBradleyの新しいLLM論は、理論的土台の多くを共有していると、僕は考えています。別のセミナーで紹介する予定のCoeckeらのQNLP（量子コンピュータを使った言語理解の取り組み）も同じ土台に立っています。カテゴリー論という共通の武器を得て、さまざまな分野で同時多発的に進行する研究の展開は、21世紀の科学・技術の発展の大きな特徴です。

このセクションの前半は、「enrichedカテゴリー論」の基本的な紹介に当てられています。ここでの「ダイアルのたとえ」は、とてもわかりやすいものだと思います。後半は、enrich化されたカテゴリーのマグニチュードをどのように定義できるのかという話をしています。

Lawvereのenriched カテゴリー論

このセクションでは、こうした展開を明確にビジョンとして持っていただけでなく、そうしたカテゴリー論の概念装置を数多く作り上げた数学者Lawvereの研究の一部を紹介します。

enrichedカテゴリー論とその応用について、最大の貢献者の一人は、Lawvereだと思います。前回のセミナーで紹介したシャニュエルは、Lawvereの共同研究者でした。現代のマグニチュード論は、Lawvereのビジョンにその多くを負っています。

ここでは、彼の「一般化された距離空間」の概念を紹介します。

Part 1 マグニチュード論の登場

ゼータ関数とメビウス関数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

カテゴリーのオイラー標数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

行列のマグニチュード

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 enriched カテゴリー論とマグニチュード

enrich化されたカテゴリー

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

enrich化されたカテゴリーのマグニチュード

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 3 Lawvereのenriched カテゴリー論

Lawvereの「一般化された距離空間」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの新しい理論研究(1)　関連リンク

LLMと意味の理論モデル概説

マグニチュードとは何か

マグニチュード論の展開

Bradleyのマグニチュード論

Bradleyのco−presheaf意味論

大規模言語モデルの数学的構造 I

大規模言語モデルの数学的構造 II

The post マグニチュード論の展開 −− LLMの新しい理論研究(1) first appeared on MaruLabo.

セミナーの構成

セミナーのまとめページはこちらです。
https://www.marulabo.net/docs/dreamerv3/

セミナーは次のような構成をしています。

Part 1 DeepMind DreamerV3とは何か
　　「AI とマインクラフトの世界」はじめに
　　DreamerV3の何が画期的なのか

Part 2 昔の話をしよう −- AIと「世界モデル」
　　Winogradの「積み木の世界」1970年
　　Brooks “Intelligent without representation” 1987年

Part 3 DreamerV3でのAI技術の飛躍
　　DreamerV3はEnder Dragonを倒せるか？
　　Diamondはどう獲得されたか？
　　DreamerV3でのAI技術の飛躍

Part 4 DeepMindの研究動向とDreamerV3
　　DeepMindの三つのプロジェクト
　　DeepMindのAI開発のビジョン
　　DeepMindのAI開発のビジョン

ディドロのオウム −− 昔の話をしよう (3)

音声概要

• AI がゲーム「マインクラフト」でダイヤを発掘する ！
• Winogradの「積み木の世界」1970年
• Brooks “Intelligent without representation” 1987年
• Diamondはどう獲得されたか？
• DeepMindのAI開発のビジョン

The post Deep Dive Audio 20250705 first appeared on MaruLabo.

セミナーの構成

セミナーのまとめページは、こちらです。
https://www.marulabo.net/docs/sdlc/

セミナーは、次のようなコンテンツで構成されています。

● Part 1 ソフトウェア開発でのAI利用の動向

　・AI利用の急速な拡大
　　　ザッカーバーグの予測
　　　AIベンダーの動向
　・広がる危機感
　　　攻撃者としてのAI / 防御者としてのAI
　　　RSAC 2025 レポート AIとNHIによる脅威の拡大

● Part 2　ソフトウェア開発とAI Agent

　　・ソフトウェア開発へのAI Agent導入の動向
　　・Multi AI Agent プログラミング
　　・A2A: Travel Agent サンプル
　　・ADK: コード開発パイプライン・サンプル

● Part 3　　ソフトウェア開発の課題と未来

　　・人間はAIに何を伝えるのか？
　　・LLMと形式手法の統合
　　・人間と機械の関係を考える

音声概説

The post Deep Dive Audio 20250531 first appeared on MaruLabo.