講演資料


講義資料スライドの表紙

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナーは、2017年3月に丸山不二夫氏が主催するマルレク（丸山不二夫勉強会）において開催された講義「RNNの応用と発展

Google翻訳とDNC
」の講義資料です。2012年に幕を開けたディープラーニングのブームが5年を経て、いよいよ新たな局面へと進化しつつある転換期を鮮やかに描き出しています [p.1], [p.6]。

講義が提起する中心的な問いは、「機械は言語を理解できるか」という人類永遠のテーマに対し、ニューラルネットワーク技術がどこまで迫れているのか、という問いです。その答えを探る二つの軸として、Googleのニューラル機械翻訳（GNMT）と可微分ニューラルコンピューター（DNC）が取り上げられます [p.6]。

前半のGoogle翻訳パートは、1990年代の統計的機械翻訳（SMT）から始まり、Bengioの「次元の呪い」を経由し、Word2Vecによる語の意味ベクトルの発見、LSTMによる文法認識能力の解明という技術的系譜を丁寧にたどります [p.46], [p.50], [p.60]。その集大成として登場したGNMT（Encoder-Decoder構造＋Attentionメカニズム＋Wordpiece）の詳細を解説した後、多言語翻訳システムへの拡張と「ゼロ・ショット翻訳」という驚くべき現象を紹介します。特に、異なる言語で同じ意味を持つ文がネットワーク内の同一の潜在空間にクラスタリングされるという「インターリンガ」の存在の示唆は、言語の本質に触れるサウシュール的な問いと共鳴します [p.3], [p.5], [p.166]。

後半のDNCパートでは、RNNやLSTMが苦手とする「変数やデータ構造の表現」「長期記憶」という限界を外部メモリで克服しようとするGoogle DeepMindの取り組みを紹介します。DNCはLSTMでは解けない複雑な推論タスクをこなし、ノイマン型コンピューターとニューラルネットワークの融合という新しいアーキテクチャの地平を切り開いています [p.185], [p.186]。

講義全体を通じて、「最良のアルゴリズム vs 最大のデータ」という問いや、Chomsky階層による機械の文法理解能力の位置づけ、そして言語記号の恣意性（ソシュール）・言語能力の再帰性（チョムスキー）といった言語学・哲学的問いが、技術的議論と鮮やかに交差します [p.3], [p.4], [p.65]。

講義のロードマップ

■ Part I: Google翻訳

  • この部の核心:

ニューラル機械翻訳（NMT）の誕生に至るまでの技術的系譜を体系的に解説します。ルールベース翻訳モデル（RBMT）の限界、統計的機械翻訳（SMT）の成功と限界、そしてBengioに始まる語の分散表現の思想が、Encoder-Decoder構造とAttentionメカニズムを持つGNMTへと結実する過程を、概念的・技術的に丁寧に追います [p.14], [p.79]。多言語への拡張がもたらした「ゼロ・ショット翻訳」と「インターリンガ」の存在は、機械が言語の深層構造を捉え始めている可能性を示唆します [p.134], [p.166]。

  • 論理展開:
  • 翻訳技術の系譜: RBMT（構文解析＋転移ルール）の原理と限界を確認した後 [p.15], [p.17]、SMT（ベイズ公式によるP(S|T)最大化）の基本アイデアとパラレルコーパスの重要性を解説。「コーパスが増えれば精度が上がる」という"Power of Data"思想の成功と、それだけでは超えられない壁を明示します [p.22], [p.33], [p.36]。
  • 意味の表現へ: Bengioの「次元の呪い」（10語文は10^50通り）が動機となり、語の分散表現（word feature vector）という発想が生まれます [p.46], [p.47], [p.48]。Word2Vecが発見した「KING - MAN + WOMAN ≈ QUEEN」という意味空間の幾何学的構造は、言語の意味が連続ベクトル空間に埋め込まれうることを示しました [p.51], [p.56]。
  • GNMTのアーキテクチャ: Encoder LSTM（8層）がソース文をエンコードし、Decoder LSTM（8層）がターゲット文を生成します。Attentionメカニズムは固定長ベクトルのボトルネックを解消し、翻訳時にソース文の各部分に動的に「注意」を向けることを可能にします [p.83], [p.85], [p.106], [p.109]。Wordpieceはソース・ターゲット共通のサブワード辞書を用いて未知語問題に対処します [p.119], [p.124]。
  • 多言語翻訳とインターリンガ: 入力文頭に``のようなターゲット言語トークンを付加するだけで、単一モデルが多言語翻訳を実現します [p.138], [p.144]。訓練データに存在しない言語ペアに対する「ゼロ・ショット翻訳」が可能であり [p.161], [p.162]、t-SNE可視化によって異なる言語の同義文が同じクラスターを形成する「インターリンガ」の存在が示唆されます [p.166], [p.172]。

■ Part II: 可微分ニューラルコンピューター（DNC）

  • この部の核心:

CNNが感覚・運動系に、RNNが言語シーケンスに強みを持つ一方、「論理的推論」と「構造化データの操作」という領域には、別のアーキテクチャが必要です。Google DeepMindのDNCは、ニューラルネットワーク（コントローラ）に外部メモリ行列（RAM相当）を接続し、システム全体を微分可能に設計することで、勾配降下法によるエンドツーエンド学習を実現します [p.185], [p.186], [p.193]。これにより、LSTMでは解けなかった複雑な推論・計画問題をこなします [p.188]。

  • 論理展開:
  • 動機と設計原理: 従来のニューラルネットは計算リソースとメモリが重みに混在するため、動的メモリ割り当てや変数的操作が苦手です [p.190]。DNCはN×Wの外部メモリ行列Mに対し、コンテンツ検索・時間的リンク行列・メモリ割り当ての三種類のAttentionメカニズムを用いて微分可能な読み書きを実現します [p.194], [p.200], [p.201], [p.203], [p.204]。この設計は哺乳類の海馬の機能とも類似が指摘されています [p.205]。
  • 検証タスクと結果: bAbI（自然言語推論QA）タスクでLSTMの誤り率7.5%/6失敗に対し、DNCは3.8%/2失敗を達成 [p.208], [p.212]。グラフ探索・最短経路問題（ロンドン地下鉄）や家系図推論では、LSTMが最初の課題すら37%止まりだったのに対し、DNCは98.8%の精度に達します [p.213], [p.215], [p.216]。さらに強化学習によるブロックパズル（Mini-SHRDLU）も解けます [p.217], [p.218]。