講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「初めてディープラーニング学ぶ人のための数学入門 ―― ニューラルネットで行列を理解する」は、ディープラーニングの数理的基盤を「行列」という概念を軸に据えながら、生物のニューラルネットワークから現代のConvolutional Neural Network（CNN）へと至る知的系譜を丁寧に追うものです。
中心的な「問い」は、「なぜニューラルネットワークの理解に行列が不可欠なのか」という一点に収束します。セミナーはまず、生物進化における神経系の起源と視覚の誕生という壮大な生物学的背景から出発し、Hubel & Wieselの大脳視覚野研究がニューラルネットワーク研究の源流となった歴史的経緯を紹介します [p.11, p.12]。そのうえで、一個のニューロンの発火メカニズムを「賛成票・反対票の多数決」という直感的なモデルで説明し、重み（Weight）・バイアス（Bias）・活性化関数という概念を段階的に導入します [p.20, p.22, p.26]。
この議論の核心は、複数ニューロンからなる層全体の出力が、常に `φ(W·X + b)` という一つの式で表現できるという事実の発見にあります [p.42, p.62]。スカラーの一次関数 `y = ax + b` と同じ形式を持つこの式が、ベクトルの内積、そして行列とベクトルの積へと拡張されることで、数百・数千のニューロンからなる複雑なネットワーク全体を一つの式に圧縮して記述できることが示されます [p.51, p.52]。
後半のPart IIでは、Full Connectなネットワークが抱えるパラメーター爆発と局所特徴抽出の困難という二つの本質的問題を明確化し [p.142]、CNNがどのように「接続の局所化」「パラメーターの共有」「三次元ボリューム間の変換」という三つの革新でその問題を克服したかを解説します [p.153, p.165]。本セミナーは、行列という道具が単なる計算手段ではなく、ニューラルネットワークの構造そのものを映し出す鏡であることを、最後まで丁寧に示し続けます。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part I: Deep Neural Network
一個のニューロンの発火条件という極めて具体的な出発点から、重み・バイアス・活性化関数を導入し、最終的に複数ニューロンからなる層全体の出力が `φ(W·X + b)` という統一的な行列式で記述されることを示します。この式がスカラー・ベクトル・行列のいずれの場合にも同一の形式を持つことが、TensorFlowをはじめとするフレームワークにおける「グラフ」「テンソル」「モジュール」という設計思想の数理的基盤となっています。
■ Part II: Convolutional Neural Network
Full Connectなネットワークが抱える「パラメーター数の爆発」と「画像データの局所的特徴の抽出困難」という二つの本質的問題を明確化し、CNNが「接続の局所化」「パラメーターの共有」「三次元ボリューム間の変換」という革新によってそれを克服する仕組みを解説します。特に、Full Connectな入力層が実は「順序を持たない集合」として機能しているという洞察は、CNNの設計思想の根拠を鮮明にします。
ページのナビゲート