ニューラル・ネットワークの数理 −− Tropical代数入門
セミナーへのお誘い
3月のセミナー、多くの人に参加いただいてありがとうございました。
セミナー告知の簡単な宣伝に、1,400以上の「いいね」をいただきました。
https://www.facebook.com/marulec2019/posts/809496961219729
今月のセミナーも、先月に続いて AI技術の最近の動向に関心をお持ちのIT技術者を対象にしたものにしようと思っています。
先月は、embedding技術の新しい動き（「マトリョーシカ」）と、「1-bit LLM」をトピックとして取り上げたのですが、タイトルに挙げていた「トロピカル」については、ほとんど触れることができませんでした。
今月4月のセミナーは、次のテーマで開催しようと思っています。
「ニューラル・ネットワークの数理 -- Tropical 代数入門」
セミナーでは、ニューラル・ネットワークの基本を振り返りながら、ニューラル・ネットワークの数学的基礎理論の候補として最近注目が集まっているTropical代数の初等的な解説と、そうした認識の実際のAI技術への応用の紹介を行いたいと思っています。
もう少しきちんとした、Tropical代数の紹介は、5月のセミナーで行う予定です。 そこでは、Tropical代数とカテゴリー論との関係（特に、enriched category論との関係）、量子論との関係（特に、Maslov dequantization の理論）について触れるつもりです。 もう少しお待ちください。
なぜ、Tropical 代数に注目するのか ? 理論的理由
なぜ、今、Tropical代数が注目を集めているのでしょうか？ そこには、大きく言って２つの理由があると僕は考えています。一つは理論的な理由で、もう一つは実践的な理由です。
第一に、近年の「生成AI」をはじめとして、現代の「人工知能」技術は大きな成功を収めているのですが、ただ、その「成功」がどのような理論的根拠に基づいているのかについての解明は、必ずしも大きく進んでいるわけではありません。
以前に紹介したTai−Danae Bradleyらの、言語とその意味を扱う大規模言語モデルの数学的構造を探ろうとする研究は、そうした状況を打破しようとする貴重な取り組みだと思います。
今また、言語モデルに限らずもっと基本的なレベルで、ニューラル・ネットワークそのものの数学的基礎を探る研究が活発に展開されています。その中で、ニューラル・ネットワークの数学的な基礎理論の候補として浮上しているのが、Tropical代数理論なのです。
Tropical 代数に注目する実践的な理由
Tropical代数に注目が集まる、第二の理由、実践的な理由とは、次のようなものです。
ある変化が起きています。それは、現在の「人工知能」技術が、非常に高価で大規模な、大量の電力を消費するシステムによって支えられているということが、「人工知能」技術の発展自身にとっても足かせになりつつあるという問題意識を、少なくない人が抱きつつあるという変化です。次の「人工知能」技術のイノベーションは、こうした領域で生まれる可能性が高いのです。
Tropical代数は、単純化して言うと、掛け算が足し算に置き換わる奇妙な計算の世界です。ただ、「人工知能」システムで、大きな計算パワーを必要とし、大量の電力を消費しているのが行列とベクトルとの掛け算であることを考えると、Tropical代数がニューラル・ネットワークに理論的基礎を与えるだけでなく、先に見たような、実際的な技術変化への客観的な要請を実現する可能性を秘めていることに期待が集まっているのです。
事実、前回のセミナーで紹介した「1−bit LLM」は、理論的にTropical代数に基づいて構築されたものではないのですが、実践的には、16bitの浮動小数点同士の掛け算を、8bitの整数の足し算に置き換えるという実装で、驚異的なパフォーマンスを生み出しています。
今回のセミナーで紹介する論文
今回のセミナーでは、主要に次の２つの論文を紹介しようと思います。
Tropical geometry of deep neural networks,
Liwen Zhang, Gregory Naitzat, and Lek-Heng Lim.
https://arxiv.org/abs/1805.07091
An Alternative Practice of Tropical Convolution to Traditional Convolutional Neural Networks,
Shiqing Fan, Liu Liying, Ye Luo
https://arxiv.org/abs/2103.02096
前者の論文は、2019年のもので、ReLUをactivatorとして持つ feed−forward networkが、Tropical 有理関数と数学的に等価であることを示した画期的な論文です。
後者の論文は、2021年のもので、従来のCNN (Convolutional Neural Network)に、Tropical なConvolution を導入したものです。
DNNの構造を考える
Deep Neural Netをグラフで表す
( スライドのpdf )
Deep Neural Netを関数の合成で表わす
( スライドのpdf )
DNNのようなもの
( スライドのpdf )
DNNの「芽」の遍在
( スライドのpdf 講演資料のLong Version )
Tropical数学入門
加算と乗算
( スライドのpdf )
ベクトル・行列計算
( スライドのpdf )
多項式
( スライドのpdf )
Hypersurface
( スライドのpdf )
二変数のTropical多項式のHypersurface
( スライドのpdf )
Newton図形
( スライドのpdf )
ニューラル・ネットワークの数理
セミナーへのお誘い 2
Zhangたちが考えたこと
( スライドのpdf )
mini-plusとmax-plus
( スライドのpdf )
DNNの数学モデルを準備する
( スライドのpdf )
convexな関数の差
( スライドのpdf )
ニューラル・ネットとTropical有理写像
( スライドのpdf )
HypersurfaceとNewton polygonの対応
( スライドのpdf )
