講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「マトリョーシカとトロピカル」は、2024年初頭に起きた二つのAI技術上の重要な動向OpenAIの新しいembeddingモデルの基盤技術である「Matryoshka Representation Learning（MRL）」と、大規模言語モデルの計算コストを根本から変革しようとする「1-bit LLM（BitNet b1.58）」を取り上げ、これらを「AIのダウンサイジング」という統一的な視点のもとで解読する試みです [p.1, p.9]。
現代のAIシステムは、巨大なモデルサイズと膨大なエネルギー消費を前提として成立しています。しかし本セミナーは、その前提が歴史的に変わりうるという見通しを提示します。1945年に部屋一杯を占めたENIACが、数十年後には手のひらサイズのデバイスに収まった歴史的経緯と同様に、現在のGPU依存・大規模クラウド前提のAIシステムもいつかダウンサイジングされうるそのような長期的視点が、本セミナー全体を貫く問題意識です [p.38, p.39, p.35]。
MRLは、一度大きな次元で学習したembeddingを、目的に応じて柔軟に次元を変えて利用できる技術です。マトリョーシカ人形の「入れ子」構造に例えられるように、高次元embeddingの内部に低次元embeddingが包含される形で学習されるため、スマートフォンのような非力なデバイス上でも高品質な推論が可能になります。OpenAIのtext-embedding-3はこの技術を採用しており、MRLこそが現代のembedding技術の最前線に位置します [p.13, p.14, p.19]。
一方、BitNet b1.58は、ニューラルネットワークの「重み行列」の各要素を{-1, 0, +1}の三値で表現することで、行列乗算における掛け算演算をほぼ不要にし、整数の加算のみで推論を完結させる革新的アーキテクチャです。これにより、LLaMAと同等の性能を保ちながら、エネルギー消費を最大71.4倍削減し、メモリフットプリントを大幅に圧縮します [p.24, p.26]。
さらにセミナーは「トロピカル代数」という数学的視点を提示します。トロピカル代数は掛け算を足し算に、足し算をmin/max演算に置き換える体系であり、ディープニューラルネットワークとの深い等価関係が近年発見されています。これらのAIダウンサイジングの動きが、トロピカル代数という数学的基礎の上でさらに加速するという展望が、セミナーの名称「マトリョーシカとトロピカル」の本質的な意味です [p.29, p.31, p.33]。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: AI技術の最近の動向について
MRLと1-bit LLMという二つの技術潮流を「AIのダウンサイジングの始まり」として位置づけます。巨大システムへの依存を前提としてきたAI開発の構造的変化が始まっていることを示し、それを数学的に支えうる「トロピカル代数」の存在を予告します [p.9, p.10]。
■ Part 2: embedding技術の新しい展開
MRL論文（”Matryoshka Representation Learning”）を精読し、入れ子型embeddingの学習原理、適応的分類（Adaptive Classification）、大規模ベクトル検索（Vector Search）、適応的検索（Adaptive Retrieval）の実装と性能を詳解します。OpenAIのtext-embedding-3との接続も確認します [p.44, p.46]。
■ Part 3: 大規模言語モデルのアーキテクチャーの見直し
BitNet b1.58（”The Era of 1-bit LLMs”）とその前身BitNetを精読し、1-bit Transformerの設計原理、BitLinearによる量子化・脱量子化の仕組み、LLaMAとの性能・効率比較を具体的に解説します。三値{-1,0,+1}への重み行列の量子化が、なぜ「1.58bit」と呼ばれるかも明らかにします [p.123, p.126]。
ページのナビゲート