講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「ニューラル・ネットワークの数理 Tropical代数入門」は、現代の深層学習技術が実用的な大成功を収める一方で、その理論的基盤が依然として不明瞭であるという根本的な問いを出発点にしています [p.4, p.5]。なぜニューラル・ネットワークは汎化するのか、なぜ深さが表現力を飛躍的に向上させるのかこうした問いに対して、数学の新しい道具立てで正面から挑もうとするのが本セミナーの本質的な動機です。
その道具立てとして採用されるのが、21世紀に入って代数幾何学の分野で急速に発展した「Tropical代数（熱帯代数）」です。Tropical代数とは、通常の掛け算を足し算で、足し算を最大値（または最小値）で置き換えるという、一見奇妙な計算体系です。しかしこの置き換えによって、非線形に見える関数が実は「区分的線形関数」として記述できることが明らかになり、ニューラル・ネットワークとの深い対応関係が浮かび上がります [p.7, p.99]。
実践的な動機も重要です。現代のAIシステムは高価で大規模な計算資源と膨大な電力を必要としており、その根本には行列とベクトルの掛け算があります。Tropical代数の世界では「掛け算が足し算になる」ため、計算効率の抜本的な改善の可能性を秘めています。実際「1-bit LLM」は、Tropical代数の理論に直接基づくものではないものの、16bitの浮動小数点の掛け算を8bitの整数の足し算で代替することで驚異的な性能を示しており、Tropical的アプローチの実践的意義を示唆しています [p.6, p.7]。
セミナーの中核的な成果は、L. Zhangら（2019年）の論文に基づき、ReLUをactivatorとするfeed-forward neural networkが「Tropical有理写像」と数学的に等価であることの証明を追うことにあります [p.8]。これはDNNとTropical代数の架け橋を確立するものであり、ニューラル・ネットワークの線形領域・決定境界・表現力といった謎をTropical幾何学の言葉で問い直す地平を開く画期的な仕事です [p.199, p.201]。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 0: はじめに・動機・概要
セミナー全体の問題意識と構成が示されます。AI技術の理論的解明の必要性、Tropical代数への注目の理論的・実践的理由、および紹介する論文の位置づけが明確にされます [p.3, p.4, p.5, p.6, p.7, p.8]。
■ Part 1: DNNの構造を考える
Deep Neural Network（DNN）を「関数の合成」として数学的に再定式化します。線形変換（affine写像）とactivatorによる非線形変換の合成を一単位とし、その繰り返しがDNNの本質的構造であることを明確にします。さらに、DNNに起源を持つ「DNNの芽」（σ∘ρの形の合成）が、Perceptron・CNN・RNN・LSTM・Transformerといった多様なアーキテクチャに遍在することを示します [p.13, p.51, p.55]。
■ Part 2: Tropical数学入門
Tropical代数の基本的な計算体系を段階的に構築します。min-plusとmax-plusの二種類があること、加算・乗算・ベクトル・行列演算がどう定義されるかを確認し、Tropical多項式の値が「複数の線形関数の集まりの最大値（または最小値）」として計算されるという本質的性質を明らかにします。さらにHypersurface・Newton図形というTropical幾何の中核概念を導入します [p.15, p.93]。
■ Part 3: ニューラル・ネットワークの数理
セミナーの中心的成果であるZhang et al.の証明を追います。ReLU feed-forward networkがTropical有理写像（2つのTropical多項式の差）と数学的に等価であることを、帰納的な層ごとの計算によって示します。これによりDNNの決定境界・線形領域の数・深さの効果がTropical幾何の言葉で問い直せることが示されます [p.197, p.198, p.201]。
ページのナビゲート