ニューラル・ネットワークの数理 −− Tropical代数入門

セミナーへのお誘いから

3月のセミナー、多くの人に参加いただいてありがとうございました。
セミナー告知の簡単な宣伝に、1,400以上の「いいね」をいただきました。
https://www.facebook.com/marulec2019/posts/809496961219729

今月のセミナーも、先月に続いて AI技術の最近の動向に関心をお持ちのIT技術者を対象にしたものにしようと思っています。

今月4月のセミナーは、次のテーマで開催しようと思っています。

  「ニューラル・ネットワークの数理 -- Tropical 代数入門」

セミナーでは、ニューラル・ネットワークの基本を振り返りながら、ニューラル・ネットワークの数学的基礎理論の候補として最近注目が集まっているTropical代数の初等的な解説と、そうした認識の実際のAI技術への応用の紹介を行いたいと思っています。

なぜ、Tropical 代数に注目するのか ? 理論的理由

なぜ、今、Tropical代数が注目を集めているのでしょうか? そこには、大きく言って2つの理由があると僕は考えています。一つは理論的な理由で、もう一つは実践的な理由です。

第一に、近年の「生成AI」をはじめとして、現代の「人工知能」技術は大きな成功を収めているのですが、ただ、その「成功」がどのような理論的根拠に基づいているのかについての解明は、必ずしも大きく進んでいるわけではありません。

以前に紹介したTai−Danae Bradleyらの、言語とその意味を扱う大規模言語モデルの数学的構造を探ろうとする研究は、そうした状況を打破しようとする貴重な取り組みだと思います。

今また、言語モデルに限らずもっと基本的なレベルで、ニューラル・ネットワークそのものの数学的基礎を探る研究が活発に展開されています。その中で、ニューラル・ネットワークの数学的な基礎理論の候補として浮上しているのが、Tropical代数理論なのです。

Tropical 代数に注目する実践的な理由

Tropical代数に注目が集まる、第二の理由、実践的な理由とは、次のようなものです。

ある変化が起きています。それは、現在の「人工知能」技術が、非常に高価で大規模な、大量の電力を消費するシステムによって支えられているということが、「人工知能」技術の発展自身にとっても足かせになりつつあるという問題意識を、少なくない人が抱きつつあるという変化です。次の「人工知能」技術のイノベーションは、こうした領域で生まれる可能性が高いのです。

Tropical代数は、単純化して言うと、掛け算が足し算に置き換わる奇妙な計算の世界です。ただ、「人工知能」システムで、大きな計算パワーを必要とし、大量の電力を消費しているのが行列とベクトルとの掛け算であることを考えると、Tropical代数がニューラル・ネットワークに理論的基礎を与えるだけでなく、先に見たような、実際的な技術変化への客観的な要請を実現する可能性を秘めていることに期待が集まっているのです。

事実、前回のセミナーで紹介した「1−bit LLM」は、理論的にTropical代数に基づいて構築されたものではないのですが、実践的には、16bitの浮動小数点同士の掛け算を、8bitの整数の足し算に置き換えるという実装で、驚異的なパフォーマンスを生み出しています。

今回のセミナーで紹介する論文

今回のセミナーでは、主要に次の論文を紹介しようと思います。

  Tropical geometry of deep neural networks,
  Liwen Zhang, Gregory Naitzat, and Lek-Heng Lim.
  https://arxiv.org/abs/1805.07091

この論文は、2019年のもので、ReLUをactivatorとして持つ feed−forward networkが、Tropical 有理関数と数学的に等価であることを示した画期的な論文です。

はじめに

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

Part 1 DNNの構造を考える

Deep Neural Netをグラフで表す

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

Deep Neural Netを関数の合成で表わす

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

DNNのようなもの

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

DNNの「芽」の遍在

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

( スライドのpdf 講演資料のLong Version )

Part 2 Tropical数学入門

加算と乗算

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

ベクトル・行列計算

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

多項式

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

Hypersurface

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

二変数のTropical多項式のHypersurface

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

Newton図形

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

Part 3 ニューラル・ネットワークの数理

セミナーへのお誘い 2

Zhangたちが考えたこと

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

mini-plusとmax-plus

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

DNNの数学モデルを準備する

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

convexな関数の差

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

ニューラル・ネットとTropical有理写像

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます

HypersurfaceとNewton polygonの対応

↑ 見出しクリックでYouTubeへ; ↓ pdfはスクロールで全文読めます