ニューラル・ネットワークの基礎

講演資料

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナー「ディープラーニング入門 I ─ ニューラル・ネットワークの基礎」は、人工知能の中核技術であるニューラル・ネットワークを、その生物学的起源から数理的定式化まで一貫した視点で解説する意欲的な講義です。

中心的な「問い」は「なぜニューラル・ネットワークは知能的なふるまいを実現できるのか」であり、その答えを探るために、講義はまず生物の神経系の進化という壮大な歴史から論を起こします。クラゲのような腔腸動物が持つ散在神経系から、扁形動物のかご形神経系、バッタのはしご形、そしてヒトの管状神経系へと至る進化の道筋を辿ることで、「脳」という情報処理装置がいかにして出現したかを俯瞰します。

とりわけ重要な主題として提示されるのが「視覚の誕生」です。5億年前のカンブリア紀に「眼」を獲得した生物は、捕食と被捕食という死活的な淘汰圧のもとで視覚処理能力を飛躍的に発展させ、それが運動能力と深く結びつくことで生物のニューラル・ネットワーク全体の進化の飛躍をもたらしました。この文脈は、現代のディープラーニングが画像認識や自律的運動制御に強みを持つ理由を歴史的・生物学的に根拠づけるものです。

生物学的背景を踏まえたうえで、講義は個々のニューロンの動作原理──興奮性シナプスと抑制性シナプスによる重みづけ加算と閾値判定──を丁寧に展開し、これを「重み」「バイアス」「活性化関数」という数理的概念へと昇華させます。さらに行列とベクトルによる表現を通じて、一個のニューロンから複数ニューロンの層、そして多層ネットワーク全体の状態を統一的な式 Y = XW + b で記述できることを示します。最終的には、計算グラフとテンソルという現代的なフレームワーク（TensorFlowの表記に準拠）によって、複雑なネットワークを簡潔に表現・実装するための基盤が整えられます。生物の脳研究（Blue Brain Project、EU Human Brain Project、NIH Human Connectome Project）との対比も交えながら、ニューラル・ネットワーク研究と脳科学が「人間の知能の解明」という共通目標のもとで並走していることも強調されます。

講義のロードマップ

■ Part 1: 生物のニューラル・ネットワークと脳

この部の核心:

ニューラル・ネットワークの出発点として、生物の神経系の起源と進化を概観します。クラゲから昆虫、頭足類、そして哺乳類へと続く神経系の多様な形態と集中化の過程を辿ることで、脳の基本的な計算ロジックが進化の初期段階ですでに確立されていたという驚くべき事実が提示されます [p.4], [p.5], [p.6]。

論理展開:
ヒドラ（散在神経系）からカエル（管状神経系）まで、神経系の形態多様性を図示 [p.4]。
腔腸動物の散在神経系にすでに「中枢神経系の萌芽」が存在し、脳形成の遺伝子プログラムは扁形動物段階で完成していたと説明 [p.5]。
前口動物（脱皮動物・冠輪動物）と後口動物（棘皮動物→脊索動物）という二大系統での脳進化の道筋を整理 [p.5], [p.6]。
線虫 *C. elegans* は全神経接続が判明している唯一の生物（302ニューロン・8,000シナプス、1987年解明）として紹介 [p.7], [p.8]。

■ Part 2: 視覚の誕生と生物のニューラル・ネットワークの飛躍

この部の核心:

カンブリア紀（5億年前）における「眼」の獲得が、捕食者・被捕食者双方にとって死活的な意味を持ち、視覚処理と運動能力の高度化という形で生物のニューラル・ネットワーク進化の最大の飛躍をもたらしたことを論じます [p.11]。この視点は、ディープラーニングが現代のセンサー搭載マシンの自律的運動制御に活躍する理由に直結します [p.15]。

論理展開:
当時の食物連鎖の頂点「アノマロカリス」が高度な眼を持っていたことを示す [p.12]。
ゲーリングによる「目の遺伝子」Pax-6の発見：多様な生物種が共通の遺伝子で眼を形成することを紹介 [p.13]。
視覚と運動能力（カメレオンの捕食、チーターの走行、人間の走り）の深い結びつきを図示 [p.14]。
Hubel と Wieselの大脳視覚野研究（1960年代、1981年ノーベル賞）がニューラル・ネットワーク研究の出発点となったことを明示 [p.16], [p.17]。

■ Part 3: 脳研究の取り組み

この部の核心:

現代の脳研究プロジェクトを概観し、ニューラル・ネットワーク研究と脳科学が「人間の知能の解明」という共通目標のもとで並走しながらも異なるアプローチを取っていることを整理します。ボトムアップ（シミュレーション）とトップダウン（認知科学的リバース・エンジニアリング）の対立構図が鮮明に描かれます [p.28]。

論理展開:
Blue Brain Project（Henry Markram）：「脳をモデル化することで理解する」というin silico アプローチ [p.24]。
EU Human Brain Project（2013年、総額約12億ユーロ、10年間）：ICT技術を活用した脳の全体的シミュレーションを目指す [p.25], [p.26]。150名の研究者による公開質問状という批判も生じ、ボトムアップ vs トップダウンの対立が表面化 [p.27], [p.28]。
NIH Human Connectome Project（2010年、4,000万ドル）：脳の神経接続地図（コネクトーム）の作成を目指す [p.29], [p.30], [p.31]。
HBPの最新成果：高解像度脳イメージング手法、ヒト大脳新皮質の単一ニューロンが多層回路を必要とする計算を単独で解ける可能性、脳アトラスのEBRAINS公開 [p.35], [p.36], [p.37]。
Fristonの「最小自由エネルギー原理」：MarkramやHBP批判派とも異なる、脳モデルの原理的方法論を追求する立場 [p.40]。

■ Part 4: ニューロンの働き ─ ニューロンはいつ発火するのか？

この部の核心:

脳の動作は無数のニューロンの動作に帰着するという命題のもと、個々のニューロンが「いつ発火するか」という問いに答える動作原理を、生物学的なシナプス伝達の仕組みから丁寧に説明します。興奮性・抑制性シナプスによる「重みつき多数決」という単純かつ強力な枠組みが明確に示されます [p.59], [p.60], [p.61]。

論理展開:
脳は1mm³に5万個のニューロン、大脳新皮質に100億ニューロン・60兆シナプスを持つという規模感を提示 [p.19]。
ヘッブの法則（Donald O. Hebb、1949年）：シナプス前・後ニューロンが同期して発火するとシナプス伝達効率が増強されるという可塑性の基本原理 [p.50], [p.51]。
シナプス伝達の仕組み：シナプス小胞から神経伝達物質が放出され、受容体に取り込まれる過程 [p.52]；興奮性シナプスはNa⁺流入で脱分極→発火 [p.53]、抑制性シナプスはCl⁻流入で過分極→発火抑制 [p.54]。
発火条件の定式化：「興奮性シナプスからの信号の強さ A − 抑制性シナプスからの信号の強さ B > 閾値 C」、すなわち A − B − C > 0 [p.61]。

■ Part 5: ニューロンの状態の数式表現 ─ 重み・バイアス・発火条件

この部の核心:

生物のニューロンの動作原理を、「重み (W)」「バイアス (b)」「入力 (X)」という三つの量を用いた数式へと昇華させます。単一ニューロンの発火条件が W·Xᵀ + b > 0 という極めてシンプルな形で表現でき、これがベクトル・行列に拡張されても同じ形式を保つことが示されます [p.65], [p.66], [p.67], [p.68]。

論理展開:
興奮性重み（プラス）・抑制性重み（マイナス）・バイアス（閾値の符号逆転）という概念の導入 [p.65]。
6入力ニューロンの具体的な発火判定の数値例（W=[-2,3,-1,3,2,-2], b=-1）で発火/非発火を確認 [p.69], [p.70]。
行ベクトルの内積 W·Xᵀ の定義と、これが発火条件の核心となることを明示 [p.90], [p.91], [p.92]。

■ Part 6: 複数のニューロンからなる層の数式表現

この部の核心:

単一ニューロンから複数ニューロンの「層」へと表現を拡張し、層全体の状態が行列Wと入力ベクトルXの積 Y = W·Xᵀ + bᵀ（列ベクトル表示）で統一的に記述できることを示します。「式は便利だ」というメッセージとともに、数式の抽象化が持つ威力が強調されます [p.95], [p.100], [p.101], [p.106], [p.107]。

論理展開:
3ニューロン×3入力の具体例から出発し、各ニューロンの状態 Wᵢ·Xᵀ + bᵢ を並べると行列の積の形になることを導出 [p.96], [p.98], [p.99], [p.100], [p.101]。
6ニューロン×6入力への拡張も同じ式形式で表現できることを確認 [p.105]。
Y = W·Xᵀ + bᵀ が、スカラー（y=ax+b）・ベクトル・行列のすべてのケースを統一的に表現することを例示 [p.109], [p.110], [p.111], [p.112]。

■ Part 7: 活性化関数（Activator）と SoftMax

この部の核心:

ニューロンの発火条件を「活性化関数 φ」として定式化し、φ(W·Xᵀ + b) という形でニューロンの出力を表現する枠組みを確立します。sigmoid、ReLU、tanhという代表的な活性化関数の特性と、クラス分類に特化した SoftMax 関数の仕組みを解説します [p.116], [p.122], [p.125], [p.128], [p.129]。

論理展開:
ステップ関数（x>0で1、x≦0で0）からsigmoid（連続・微分可能な近似）への移行の必然性を説明 [p.121], [p.122]。
ReLU：負値は0、正値はそのまま通す整流器。sigmoidと異なり出力に上限なし。Softplusによる滑らかな近似も紹介 [p.125]。
tanh：-1から+1の値を出力するsigmoidの変形 [p.128]。
SoftMax：n次元ベクトルを受け取り確率分布（和=1）を返す。sᵢ = eˣⁱ / Σeˣʲ で定義。クラス分類の出力層で標準的に使用 [p.134], [p.138]。argmax と組み合わせてOne-Hot-Vector を出力 [p.137], [p.141]。

■ Part 8: 表記の見直しと計算グラフ ─ テンソルとネットワーク構造

この部の核心:

列ベクトル表示 Y = W·Xᵀ + bᵀ をTensorFlowの慣行に準じた行ベクトル表示 Y = X·W + b へ変換し、さらに「計算グラフ」による視覚的表現を導入します。複数の層からなるネットワーク全体を「積→和→φ」のノード列を直列結合したグラフで簡潔に表現できることが示され、グラフを流れるデータが「テンソル」という統一的な概念で捉えられることが明確になります [p.143], [p.165], [p.167], [p.172], [p.180], [p.193]。

論理展開:
トランスポーズTの性質 (AB)ᵀ = BᵀAᵀ を用いて Y = W·Xᵀ + bᵀ から Yᵀ = X·Wᵀ + b を導出 [p.165], [p.166]。
「積ノード（行列の積）→和ノード（行列の和）→φノード（活性化）」という一層のグラフ表現を確立 [p.167], [p.172], [p.173]。
Full Connect Network（DNN/Feed forward Network）をグラフで表す際に、各層のグラフを直列結合するだけでよいという簡潔さを実証。784→15→10の手書き数字認識ネットワークの例で旧来表現の複雑さと対比 [p.181], [p.188], [p.191]。
テンソルのランク：スカラー（ランク0）・ベクトル（ランク1）・行列（ランク2）・3テンソル（ランク3）という階層的分類を整理 [p.198], [p.199], [p.200]。