MaruLabo KnowledgeHubは、MaruLaboのコンテンツに簡単にアクセスする為のコンテンツ・ナビゲータです。

今回のリリースでは、2013年から2026年の間に開催された丸山の百数十回分のセミナーを対象にしています。

セミナーの検索には、Hub型のユーザ・インターフェースを利用しています。 MaruLabo KnowledgeHub という名前は、そこからとられたものです。

MaruLabo KnowledgeHubの プロトタイプ版について

今回公開したMaruLabo KnowledgeHub（プロトタイプ版）は、基本的には、このHub型のユーザー・インターフェースの実装にフォーカスしたものです。

プロトタイプ版は、いくつかの問題やバグを抱えているのですが、今後のリリースでも、このユーザー・インターフェースに変更はありません。

MaruLabo KnowledgeHub 名前が長いので、ML-KH という略称を使うことにします。

ML-KH ( MaruLabo KnowledgeHub ) は、次のURLから開くことができます。

https://marulabo-knowledge-hub.vercel.app

ML-KH (プロトタイプ版) のUI

ML-KH　を開くと、次のような画面が現れます。

ML-KH のUIコンポネント

ML-KH ( MaruLabo KnowledgeHub ) のUIは、次のようなコンポーネントから構成されています。

● メイン・トピック・バナーー・ノード
● セミナー・ノード
● トピック・ノード
● 公開年ノード
● 入力BOX

ML-KH のUIの動作

メイン・トピック・バナーをクリックする

トピックは、関連した内容を持つ、いくつかのセミナーの集まりです。

メイン・トピック・バナーをクリックすると、トピック名を中心にしr、ハブ状にトピックに属する関連したセミナーが表示されます。

「大規模言語モデル」というトピックをクリックすると、画面が次のような表示に代わります。

ハブ上のセミナーをクリックする

ハブ上のセミナーをクリックすると、そのセミナーを中心に関連するセミナーがハブ状に表示されます。

『なぜ？で考える ChatGPT の不思議』というセミナーを選ぶと、表示は次のように変わります。

あらためて、ハブの中心のセミナーをクリックします。
この例ですと、『なぜ？で考える ChatGPT の不思議』というセミナーをクリックすると、画面が次のように変わります、

画面右側のパネルを見る

画面右側のパネルには、二つの選択肢kHがあります。

一つは、ピンクの「詳しく教えて！」ボタンを選ぶことです。
もう一つは、セミナー資料の画像の下の、ダークブルーの「講演精舎委ページ」ボタンを選ぶことです。

ピンクのボタンを押すと、セミナーの紹介ページが開きます。ただ、今回のUI中心の「プロトタイプ版」では、このページの生成は、不十分なものです。

ダークブルーのボタンを押すと、マルレクの元々のセミナーページが、ML-KHの外で開きます。

セミナー紹介ページ　サンプル

このページの出力は十分なものでありません。
次のバージョンアップをお待ちください。

まずは、ML-KH のUI 使ってみてください

MaruLabo KnowledgeHub のプロトタイプ版で、ML-KH のUI の基本的なスタイルは、ほぼ固まりました。ぜひ、使ってみてください。

ML-KHのその他の操作

ML-KHの背景技術

もう一つのKHプロジェクト

The post MaruLabo KnowledgeHub について first appeared on MaruLabo.

テーマ：「 クラウドOSとマイクロサービス 」

概要：http://kokucheese.com/event/index/342957/
資料：https://goo.gl/yJjCDf

The post クラウドOSとマイクロサービス first appeared on MaruLabo.

はじめに

情報ネットワークの新しい構造

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

なぜ、「知識のハブの変化」を考えるのか？

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

「知識」のどのような領域に注目するのか

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

グローバルな検索の世界の変化

AIと検索

↑ 見出しクリックでpdfへ　　blogへはこちら → click me

21世紀のIT技術の二度目の大変化

それは、LLMの能力がRAGによって大きく拡大したという、狭いAI技術の変化の話ではないのです。

振り返ってみれば、GAFAM等のBig Techの成立に結果した21世紀初頭のITの世界の大きな変化は、Googleのグローバルな検索技術の登場によって先導されました。

その成功は、PageRank・MapReduceというアルゴリズムの実行を可能とするWebスケールの大規模分散システムと、「広告モデル」という新しいビジネス・モデルによって支えられたものでした。

四半世紀の時を経て、21世紀のIT技術・ITビジネスは二度目の大きな変化を迎えようとしています。

ベクトル検索とキーワード検索とのハイブリッド検索

↑ 見出しクリックでpdfへ　　

MaruLabo KnowledgeHub について

5/16 開催のマルレクで、MaruLaboが開発中の　MaruLabo KnowledgeHub のデモを行いました。

どのような変化を展望するのか

もっとも、予想される変化を現在のIT技術・ITビジネスの延長で考える必要はないと思います。

「機械の言語能力の獲得」は、機械にとっても人間にとっても歴史的な大事件です。より具体的に、「機械と人間が意味を共有するembeddingの世界」の進展は、機械にとっても人間にとっても重要な意味を持ちます。

それは、人類の情報共有と情報蓄積のスタイルが、大きく変わるだろうという展望を我々が持ちうることだと思います。

The post 「知識のハブ」の変化を考える first appeared on MaruLabo.

“Next token prediction” 描像を超える理論の探究

今回のセミナーの問題意識の一つは、LLMを「次のトークンを確率的に予測する」機械として捉える見方は、LLMの現実の振る舞いの説明としては、十分ではないのではというものです。

“LLM = Next token prediction Machine”という描像は、先のセミナーでも触れたように LLMの成功の技術的バックボーンの役割を果たしました。そのイメージは、一方で、「生成AI = 確率論的オーム」という誤解を生み出し、他方ではAI研究者を含む多くの人に、「LLM = ブラックボックス」であることを印象付けました。ただ、後者の認識は「誤解」ではありません。

LLMのある意味不思議な振る舞い、「LLMは、Next token predictionをするシステムだ」という還元論的特徴づけと、現実のLLMが示す柔軟で高度な意味理解能力の乖離がその典型的な例だと思いますが、そのメカニズムを、embedding論に遡って解明しようとする研究が活発に展開されていることです。

“Next token prediction” 描像を超えるLLM理論の探究は、現在のLLM研究のもっとも興味深い領域だと思います。
基本的には、カテゴリー論を使ってこの問題にアプローチする流儀と、AI研究者の「ブラック・ボックス問題」に切り込もうとする流儀の、二つのアプローチがあります。興味深いのは、両者の研究がクロスする状況が生まれていることです。

AI研究者のアプローチ

SAE Sparse Autoencoders

AnthropicのChristopher Olahらの「スパーズ・オートエンコーダー」 （Sparse Autoencoders） SAE理論が代表的な議論だと思います。

これらの議論は、ブラックボックスとしてのLLMの振る舞いを、説明可能なものとして解明しようとするものです。同時に、こうした研究は、LLMの安全性を人間がキチンとコントロールする可能性を開くものでもあります。

音声概説　SAE

個人的には、こうした研究は、VlassopoulosらのLLMの内部動作の解析と通じ、それをステップに BradleyのLLMのMagnitude論に通ずると考えています。

MI Mechanistic Interpretability

この分野では、Olahらによる議論に触発された「機械論的解釈可能性」(Mechanistic Interpretability) MI理論も 興味深いものです。

音声概説 MI

カテゴリー論的アプローチ

カテゴリー論的アプローチの代表者は、Tai−Danae Bradleyです。
彼女の 「co−presheaf 意味論」は、画期的なものです。

画像クリックで、それぞれのセミナーのまとめページにアクセスできます。

Bradley

彼女の最近の研究は、次の二つの点で大きな前進を遂げています。
・LLMの内部の確率計算の精緻な分析。プロンプトxが与えられた時、LLMが出力yを返す確率π( y | x )の計算式を与えました。
・その上で、「確率」を「距離」に変換し、「意味の幾何学」への道を開きました。

音声概説 Bradley1

音声概説 Bradley2

Vlassopoulos

Vlassopoulosは、基本的にBradley と同じアプローチをとっています。
興味深いのは、彼の議論は、SAE理論の「Superinpose」の議論と親和性が高いと、僕は感じています。

音声概説　Vlassopoulos

The post “Next token prediction” 描像を超えて first appeared on MaruLabo.

Part 1 機械と人間が意味を共有するembeddingの世界

このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。当初は、「機械と人間が意味を共有するembeddingの世界を考える」というタイトルで予告されたものです。タイトル変更に伴う、今後のセミナー開催の予定については、このページの最後をご覧ください。

前回のセミナー「機械の言語能力の獲得を考える」を振り返る

↑ 見出しクリックで前回セミナーの「まとめページ」へ
前回のセミナーのblog リストは、こちら をクリック。

前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。

その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。

この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。

語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。

「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。

マルレク「機械の言語能力の獲得を考える」のAIによる要約

意味の分散表現論、翻訳モデルから大規模言語モデルの成立の歴史を振り返ったこのセミナーは、embeddingに注目するこの連続セミナーの基本的な問題意識を示しています。

前回のセミナーのAIによる音声概要

このセミナーのAIによる音声概要は、次からアクセスできます。200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。

前回のセミナーのメインのpdf資料のAIによるまとめ

また、このセミナーのメインのpdf資料のAIによるまとめは、次のリンクからアクセスできます。
https://maruyama097.blogspot.com/2026/02/blog-post_22.html

セミナー資料は、次のリンクで公開済みです。「マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました」

機械と人間が意味を共有するembeddingの世界を考える

先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理解できるようになったからだと考えています。

ただ、LLMが Next token predictionマシンであるという一般的な認識と、それがコンテキストを含む言葉の意味を理解する能力として現れるという認識には、ギャップがあるように思います。

また、embeddingは、それ自身で既に「世界」についての情報を豊富に含んでいるように思えます。そうした特徴は外付けのRAGとは独立なものです。それは、embedding の生成メカニズムそのものに根ざしているはずです。

ただ、こうした問題の多くに、今回のセミナーでは、答えることができませんでした。予告したコンテンツを一回のセミナーに収めることが難しくなっていて、セミナーを分割することになりました。

embedding プログラミングを学ぶことの意味

今回のセミナーでは、直接embeddingを操作するembeddingプログラミングを紹介します。
AIが、ほとんどどんなプログラムも作ってくれる時代に、プリミティブなembeddingプログラミングを学ぶことの意味を確認しておきましょう。

機械と意味を通じ合うための「共通言語」としての理解

僕は、Embeddingの発見を「この4半世紀のAI研究の白眉」と高く評価し、それを「人間と機械の共通言語」と呼んでいます。また、人間にとってEmbeddingは、音声や文字に次ぐ「ことばの第三の形態」であるとも位置づけています。

単なるプログラミングテクニックとしてだけでなく、「機械がどのように言葉の意味を数値（ベクトル）として捉え、意味の近さを計算しているのか（コサイン類似度など）」を知ることは、機械の言語理解の本質に触れることであり、AIを活用する上での強力な土台となります。

信頼性の高いAIシステムの根幹技術であるため

LLMの弱点であるハルシネーションを抑制し、情報の透明性と正確性を担保する手法として「RAG（検索拡張生成）」が重要視されています。 RAGのパイプラインでは、テキストをEmbeddingに変換してベクトルデータベースに登録し、ユーザーの入力とのコサイン類似度を用いて関連情報を検索（Vector Search）するというプロセスが必須のステップとして組み込まれています。

AIがコード自体を書いてくれるとしても、この「データをどのようにチャンクに分割し、ベクトル化して検索させるか」というシステム全体の設計やチューニングは人間が行う必要があり、その裏側にある技術を理解しているかどうかがシステムの品質を左右します。

より高度なシステムへの進化に対応するため

AI技術は、単純なベクトル検索を行うものから、クエリの書き換えや再順位付けを行う「Advanced RAG」、さらにはAIが自律的に検索対象や再検索を判断する「Agentic RAG」へと急速に進化しています。また、今後は「embeddingの共有・蓄積・検索」が情報の世界に大きなインパクトを与えると予想されています。

AIにプログラミングを任せる時代だからこそ、ブラックボックスになりがちな「ベクトル空間における意味の検索」の仕組みを人間が直接理解しておくことで、AIに対してより高度な指示を出し、生成されたシステムの評価や改善を正確に行うことができるようになると考えられます。

Part 2 embedding プログラミング入門

Language Model と Embedding Model

多くのAI ベンダーは、Language Model (LLM) と並んで Embedding Modelを提供しています。

OpenAIの text-embedding-3-large, Googleのgemini-embedding-001をはじめとして、Cohere, Voyage AI, Mistral AI, Jina AI  等、多くのAIベンダーから多くのembeddingモデルが公開されています。オープンソースのHugging FaceのBGE(Beijing Academy of AI)もよく利用されているようです。

embedding体験入門

↑ 見出しクリックでpdfへ

Amazon レビュー情報からの意味的検索

データを準備する

↑ 見出しクリックでpdfへ

embeddingを利用したテキストの意味的検索

↑ 見出しクリックでpdfへ

Part 3 embeddingと検索技術の新しい展開

文字列検索と画像検索

↑ 見出しクリックでpdfへ

Vector Search の紹介

↑ 見出しクリックでpdfへ

マトリョーシカ −− embedding技術の革新

↑ 見出しクリックでpdfへ

Adaptive Classification

↑ 見出しクリックでpdfへ

Adaptive Retrieval

↑ 見出しクリックでpdfへ

今後のセミナーについて

前回のセミナーと今回のセミナーと合わせて、次のようなセミナーを開催することになります。準備中のセミナーを分割したので、それぞれのまとめページを別個に作成しました。下のセミナー・タイトルのクリックで、それぞれのセミナーのまとめページにジャンプできます。

「embeddingの共有・蓄積・検索の未来」

embedding技術が可能とする情報の共有と情報の蓄積と検索の未来について考えます。

“Next token prediction” 描像を超えて

“Next token prediction”のみかけ上の単純さの背後には、embeddingに表現される複雑な「意味の世界」が隠れています。

下の画像クリックで、それぞれのセミナーのまとめページにジャンプできます。

The post embeddingプログラミングの基礎 first appeared on MaruLabo.

Transformerの登場

• RNNからTransformerへ
  https://drive.google.com/file/d/1U6mDCZDaI1mPF95a3w54jjGHp06y-mIj/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/RNNからTransformer.mp3
• Transformerのアーキテクチャー
  https://drive.google.com/file/d/1Ko2XoHHpMIad4diYBZeybK7faCLTft8K/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/Transformerのアーキテクチャー.mp3

[ai_playlist id="7352"]

翻訳モデルから大規模言語モデルへ

EncoderとDecoderの分離からDecoder OnlyのLLMへ

• LLMはなぜ翻訳モデルから生まれたのか
  https://drive.google.com/file/d/16LvxRmXHoHjbfXNEPC6WIhX1t0zkqRNi/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/LLMはなぜ翻訳モデルから生まれたのか.mp3
• なぜLLMはエンコーダを捨てたのか
  https://drive.google.com/file/d/1teYuSe95NFp5Kq18yMu1JXz40nQmidIA/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/なぜLLMはエンコーダを捨てたのか.mp3
• AIはなぜ「理解」より「生成」を選んだか
  https://drive.google.com/file/d/1eVLt4pJ6lSw1r3Ke0WQ3tVPzlt-go2jx/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/AIはなぜ「理解」より「生成」を選んだか.mp3
• なぜdecoder−onlyがAIの覇権を握ったのか
  https://drive.google.com/file/d/1MfbGcIgRNR4rGZFgLYxYggzJbZxF9VHI/view?usp=sharing
  https://www.marulabo.net/wp-content/uploads/2026/01/なぜdecoder−onlyがAIの覇権を握ったのか.mp3

[ai_playlist id="7358"]

The post Deep Dive Audio 20260131 first appeared on MaruLabo.

当初、「機械の言語能力の獲得から考える embeddingの共有・蓄積・検索の未来」というテーマでセミナーを開催することを考えていたのですが、長くなりそうなので、セミナーを次の二つに分けることにしました。

• 「機械の言語能力の獲得を考える」
• 「機械と人間が意味を共有する embeddingの世界を考える」

このWebページやYouTubeと並行して、次のblogリストからも関連コンテンツにアクセスできます。https://maruyama097.blogspot.com/2025/12/embedding-blog.html

セミナー概要

今回のセミナーのアプローチ

↑ 見出しクリックでpdfへ

今回のセミナー「機械の言語能力の獲得を考える」は、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉える議論を展開したものです。

機械が新しく獲得した言語能力の中核は、「意味を理解する」能力だと僕は考えています。
今回のセミナーでは、機械の言語能力の獲得の中核を、機械の意味を理解する能力の獲得とする議論を行います。

中心問題は、機械は、どのようにして「意味を理解する」ようになったのか？ という問題です。
この問題については、21世紀初めからの「意味の分散表現論」の発展が一つの答えを与えてくれると思っています。

セミナーでは、意味のベクトル表現の発見に始まり、翻訳モデルから大規模言語モデルへの発展へと結実する理論の歴史を振り返ろうと思います。

こうしたアプローチの意味と課題

「言語能力の獲得」→「意味の理解能力の獲得」→「意味の分散表現論の発展」というスキームや、AI技術の発展を分散表現論の歴史で説明するアプローチには、多くのものを捨象しているという問題もあります。

AGI論の功罪

アルトマンは、2035年までに、あらゆる個人が「2025年時点の全人類に匹敵する知的能力」を手に入れることができると予測しています。
https://www.marketingaiinstitute.com/blog/the-ai-show-episode-135

一方、イリヤ・サツケヴァーは、アルトマンとは対照的に、AIがもたらす「実在的なリスク(Existential Risk)」に対して恐怖の念を抱いています。彼は、AIが単なるプログラムではなく、いつか人間を凌駕し、制御不能になる可能性を技術的必然として捉えています。
https://www.ibm.com/think/topics/superalignment

昔、ある人がAIに次のような皮肉な定義を与えたことがあります。「AIとは、まだできていないこと全てである」”Al is whatever hasn’t been done vet.”　( “Gödel, Escher, Bach” D. R. Hofstadter ) AGI (artificial general intelligence)の議論は、それに似ています。

楽観的なAGI論も悲観的なAGI論もあるのですが、AGI論は、AI技術の到達点の評価ではなくまだできていないこと、まだ起きていないことを含んだ未来の予想です。その予想には、傾聴すべき議論も含まれていることもあるのですが、ある場合には、AIにさらなる投資を呼び込むための誇大宣伝に使われています。

言語能力と「知性」

僕は、人間の知性（あるいは、知能）と人間の言語能力を区別しています。人間の知能は複雑な構造を持ち、その最も基本的な構成要素、最も重要な基礎が言語能力なのだと。

親と子も恋人同士の二人も老人ホームの老人もことばを使います。SNSで罵倒し合うのにも、戦争を呼びかけるのにも戦争に反対するのにもことばが必要です。捏造された論文もノーベル賞の対象となる論文も、ことばで書かれています。これらすべては、人間がひとしく言語能力を持ってコミュニケーションできるから可能になっていることです。

言語能力をもつ人間がそうであるように、機械が人間並の言語能力を獲得したとしても、それだけで優れた「知性」を発揮するかはわかりません。機械の言語能力の獲得は、機械が正しいことを言うことを意味するものではありません。ただ、言語能力なしには、優れた知性に成長することはできないと考えています。

その意味では、機械の言語能力の獲得をAI技術の重要な到達点と考えることは、大きな意味を持っていると考えています。

理論の歴史が示すもの −− embedding概念の発見とその意味

人工知能の技術にも、短いながら歴史があります。その技術の歴史を貫いて、理論の歴史があります。今回のセミナーでは、AI技術の理論の歴史を振り返ってみたいと思います。

重要なことは、この4半世紀のAI技術の理論史は、「意味とは何か」を中心的なテーマとして、それを探究する理論の旅に他ならなかったということです。それが、今回のセミナーで展開する「意味の分散表現論」の発展史です。　

機械が意味を理解させるためには、人間が意味とは何かを知らなくてはなりません。また、それを実装として機械に伝えなくてはなりません。いろんな試行錯誤があったのですが、意味を多次元のベクトル、embedding として表現するという方法に辿り着き、その応用に磨きをかけていきますます。

意味を表現するembeddingという概念の発見は、この4半世紀のAI研究の白眉だと思います。我々は、embedding という人間と機械の共通言語を獲得し、それを通じて機械と意味を通じ合うことができるようになったのです。

人間にとって、embedding は、話す聞くことばとしての音声と、書く読むことばとしての文字に次ぐ、ことばの第三の形態だと僕は考えています。

次回のセミナーで扱うこと

残念ながら、今回のセミナーでは、このembeddingの獲得が、情報の世界でどのようなインパクトを持つかは十分に語ることができません。

それについては、冒頭に述べたように、次回のセミナーは「embeddingの共有・蓄積・検索の未来」として展開したいと思っています。

関連コンテンツへのアクセス

• 「機械の言語能力の獲得を考える」セミナーの申し込みページ
• 「機械の言語能力の獲得を考える」セミナーのまとめページ
• 「機械の言語能力の獲得を考える」ショートムービー再生リスト
• 「機械の言語能力の獲得を考える」 blogリスト

Part 1 意味の分散表現の系譜

Bengio 「次元の呪い」

Hinton Autoencoder / 意味的ハッシング

意味の分散表現論の登場

↑↓ 見出し/画像クリックでblogへ

文の意味のベクトル表現の発見

↑↓ 見出し/画像クリックでblogへ

Transformerの登場

↑↓ 見出し/画像クリックでblogへ

Part 2 翻訳モデルから大規模言語モデル LLM への進化

Transformerの登場と成功は、AI技術と意味の分散表現論の大きな飛躍でした。このPart 2では、AI技術と意味の分散表現論のさらに大きな飛躍、翻訳モデルから大規模言語モデルへの移行という現代のAI技術に直接つながる重要な進化を取り上げます。

翻訳モデルから大規模言語モデルへの進化 LLM 概要　（音声概要）

↑ 見出しクリックでpdfへ

TransformerからBERTとGPTへ

翻訳モデルから大規模言語モデルへの進化の過程において、Transformerの影響は決定的なものでした。大規模言語モデルへの進化において大きな役割を果たした、Post Transformer の代表的な二つのアーキテクチャー BERTとGPTの末尾の ‘T’ がTransfomerの ‘T’ であることは、その影響の大きさを表しています。

　　BERT : Bidirectional Encoder Representations from Transformers
　　GPT : Generative pre-trained transformer

TransfomerのEncoderとDecoderの分離とその継承

ただ、Transformerの達成した成果をどのように継承するのかという点で、BERTとGPTのとったアプローチは真逆と言っていい対照的なものでした。両者は、Transformerの二つの基本的な構成要素 EncoderとDecoderを分離し、その一方だけを継承したのです。

　　BERT : TransformerからEncoderのみを継承。Encoder−only アーキテクチャー
　　GPT : TransformerからDecoderのみを継承。Decoder−only アーキテクチャー

Encoder−only, Decoder−onlyのアーキテクチャーの特徴

Transformerは、翻訳システムとして実装されていたのですが、BERTもGPTも、もはやかつてのようなSequence to Sequenceの翻訳システムではありませんでした。AIから見れば「翻訳」というのは、AIが自然言語に対して行いうる可能な仕事の一つに過ぎません。翻訳モデルの解体とより一般的なAIのモデルの模索がはじまったのです。

それでは、Encoder−only, Decoder−onlyのアーキテクチャーは、どのような特徴を持っていたのでしょう？

　　BERT : Encoder−only アーキテクチャー : 言語の意味の深い理解能力
　　GPT : Decoder−only アーキテクチャー : 言語の自由な生成能力

Decoder−onlyアーキテクチャーの勝利としての大規模言語モデル LLM の成立

重要なことは、Transformerから分岐した二つのAIアーキテクチャーのうち、Decoder−onlyアーキテクチャーの勝利として、大規模言語モデルが成立したということです。

なぜ、Decoder−onlyアーキテクチャーが勝利したかについては、この概要ではなく、別のセッションで解説したいと思います。そこでの議論は、現在の大規模言語モデルの特徴をよりよく理解するために重要な情報が含まれています。

補足情報 (音声概要)

概要とはいえ、少し情報が少ないので、次の二つの音声概要にアクセスしていただけますか？

• 「Transformerのアーキテクチャー」

• 「LLMはなぜ翻訳モデルから生まれたの」

このほかに、まだ、整理されていないのですが（ごめんなさい）、いろんな切り口で音声概要を作ってみました。、興味がありましたら、こちらもご利用ください。

• 「EncoderとDecoderの分離からDecoder OnlyのLLMへ」

[ai_playlist id="7358"]

Part 3 LLM アーキテクチャーの成功を支えたもの

Next token Prediction

↑ 見出しクリックでpdfへ

Self-Supervised Learning

↑ 見出しクリックでpdfへ

In-Context learningとRetrieval-Augmented Generation

↑ 見出しクリックでpdfへ

The post 機械の言語能力の獲得を考える first appeared on MaruLabo.

The post Deep Dive Audio 20260106 first appeared on MaruLabo.

マルレク「LLMのマグニチュード論 1 −− LLMの確率計算とenrichedカテゴリー論 」の音声概説ページです。

[ai_playlist id="7259"]

The post Deep Dive Audio 20251206 first appeared on MaruLabo.

マルレク「マグニチュードとは何か？」の音声概要をまとめたページです。

[ai_playlist id="7243"]

The post Deep Dive Audio 20250926 first appeared on MaruLabo.