全体概要
本セミナー「ニューラル・ネットワークの基礎」（講師：丸山不二夫）は、現代のディープラーニング技術を支える数理的・概念的基盤を、生物の神経系という根源的な問いから出発して丁寧に構築していく講義です。
中心的な「問い」は、「なぜニューラル・ネットワークは知的な振る舞いができるのか、そしてどのように学習するのか」という一点に収斂します。講義はその答えを、生物学的な動機づけ（ヘッブの法則、HubelとWieselの視覚野研究）から始め、人工ニューロンの数理モデル（重み・バイアス・活性化関数）、学習の仕組み（損失関数・勾配降下法・バックプロパゲーション）、そして画像認識に特化したCNNのアーキテクチャへと、一本の論理的な糸で繋いでいきます。
技術史的な位置づけとしては、1958年のパーセプトロンに始まる前史 [p.4] から2012年以降のディープラーニング革命までを概観しつつ、脳科学と計算機科学が交差する地点にニューラル・ネットワークが誕生した経緯を強調しています。人間の脳は1mm立方に5万個のニューロンと6千個のシナプスを持ち、大脳新皮質全体では100億のニューロンと60兆個のシナプスを擁するという圧倒的な事実 [p.21] を前に、機械がどこまでそれを模倣できるかという根本的な問いが全体を貫いています。
さらに本講義が特徴的なのは、ニューラル・ネットワークを単なるブラックボックスとして扱わず、一つのニューロンの発火条件という最小単位から積み上げ、ベクトル・行列表現による数学的な定式化 `φ(W·X + b)` [p.47, p.48, p.63] をニューラルネットワーク全体の統一的な記述として確立する点にあります。この式はTensorFlow・CNTK・Torch7といった複数のフレームワークに共通する構造として示され、実装への橋渡しも果たしています [p.94–p.100]。学習データセット（MNIST、CIFAR-10、ImageNet）の意義と構築コスト [p.106–p.128]、損失関数・勾配降下法・バックプロパゲーションによるパラメーター最適化 [p.131–p.200]、そしてFull Connectの限界を克服するCNNの畳み込み・プーリング・フィルター共有という革新的アーキテクチャ [p.253–p.373] へと論が展開します。全体を通じて「生物と機械」という対比が底流にあり、生物の能力の驚異的な高さへの敬意と、それに近づこうとする工学的な試みの誠実さが伝わってくる講義です。
—
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
—
■ Part I: ニューラルネットワークの基礎
生物の神経系をモデルとして、人工ニューロンの発火条件を重み・バイアスで定式化し、一つのニューロンから複数ニューロンの「層」へ、さらに多層ネットワーク全体へと記述を拡張します。最終的に`φ(W·X + b)`という単一の数式がニューラルネットワーク全体を統一的に表現できることを示し、TensorFlow等の実装グラフとの対応を確立します [p.3–p.100]。
■ Part II: ニューラルネットワークはどう「学習」するのか？
ニューラルネットワークの「学習」とは、訓練データに基づいてパラメーター（重みWとバイアスb）を最適化することです [p.130]。その道具として損失関数（Quadratic Cost・クロスエントロピー）、勾配降下法、そしてバックプロパゲーションの三点を体系的に論じ、最終的にmini-Batchを用いたSDGが現代的学習スタイルであることを示します [p.131–p.209]。
■ Part III: ニューラルネットワークによる画像認識技術
Full Connectなネットワークが抱える二大問題（パラメーター数の爆発と局所的特徴の抽出不全）を明確に診断し、CNNがそれを「局所受容野・パラメーター共有・Pooling・三次元ボリューム描像」によって根本的に解決することを示します [p.253–p.373]。さらに学習済みフィルターの可視化を通じて、CNNが階層的な特徴抽出を実際に実現していることを確認します。