講演資料


講義資料スライドの表紙

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナーは「言語とは何か」という根源的な問いを、人工知能・深層学習の最前線と、言語学・数理論理学の深奥から同時に照らし合わせ、両者の驚くべき収束点を探る意欲的な講義です。

出発点は1950年のチューリングテストです [p.2]。知性の本質を問うこの問いから始まり、1972年の初期対話システム、1990年代の機械学習勃興、そして2010年代の深層学習革命へと至る歴史的文脈が丁寧に敷かれています [p.2], [p.4]。

講義の技術的な核心はPart Iに置かれており、BengioのニューラルN-gram言語モデル（2003年）[p.13]、HintonのAutoencoder（2006年）[p.18], [p.19]、MikolovのWord2Vec（2013年）[p.29]、SutskeverのSequence-to-Sequence（2014年）[p.35], [p.36]、BahdanauのAttention Mechanism [p.44], [p.45]、そしてGoogleのGNMT（2016年）[p.53], [p.54]、さらにAlex GravesのDifferentiable Neural Computer（DNC）[p.104] へと至る「現代NLPの系譜」が、原論文と実装の詳細に即して解説されます。これはただの技術史ではなく、「言語モデルとは何を学習しているのか」という問いへの深化の過程として提示されます。

Part IIは実装の世界に降り立ち、GoogleのKnowledge GraphとEntity Modelを軸に、Google Now・Google AssistantからAmazon Alexa・DialogFlowに至る音声AIシステムの設計思想を解剖します [p.140], [p.143]。Schema.orgに基づくEntity・Property・Actionの概念体系 [p.200], [p.206]、AlexaのIntent SignatureによるSchema.orgとの接続 [p.246], [p.247] など、現実の商用システムの知的骨格が明示されます。

Part IIIはセミナー最大の知的跳躍です。Chomsky（1957年）の生成文法からMinimalist Program（1995年）[p.272]、そしてLambek（1958年）のCategorical Grammar [p.273], [p.274] へと論が進み、両者が「Merge」という単一の操作の下に収束する可能性が示されます。「Language = Interfaces + Recursion」[p.319] という定式がその結論を象徴し、深層学習が達成しつつある言語能力の位置づけが、Chomsky Hierarchy [p.288], [p.289] を通じて理論的に問い直されます。

Part IVは算数の文章題という具体的な題材で計算と言語理解の接点を探り、分数の演算から掛け算のアルゴリズムまで、言語と数理構造の共鳴が体感的に示されます [p.363], [p.390]。

全体を貫くのは「ニューラルネットワークは言語のどの層を学習できているのか、そして人間の言語能力の本質とは何か」という問いです。技術と理論の往復が、このセミナーの最大の知的価値と言えます。

講義のロードマップ

■ Part I: 深層学習と自然言語処理の系譜

  • この部の核心:

BengioによるWord Embeddingの発明（2003年）から始まり、Encoder-Decoder・Attention・GNMTを経てDNCに至る現代NLPの技術系譜を、原論文の論理に沿って丁寧に再構築します。それぞれの技術がなぜ必要とされ、何を解決したのかという「問題と解法の連鎖」として提示されることが、この部の際立った特徴です [p.10], [p.11]。

  • 論理展開:
  • BengioのNeural Language Model（2003年）: 単語の次元の呪い（Curse of Dimensionality）を、Word Feature Vectorによる連続空間埋め込みで突破 [p.13], [p.17]。
  • HintonのAutoencoder（2006年）: 高次元データの低次元圧縮表現を学習し、Encoder-Decoderの原型を確立。Semantic Hashingへの応用も示される [p.18], [p.25]。
  • Word2Vec（Mikolov, 2013年）: 「KING – MAN + WOMAN = QUEEN」に代表される線形アナロジーが、埋め込み空間の意味的幾何学を実証 [p.29], [p.34]。
  • Sequence to Sequence（Sutskever, 2014年）: LSTMによるEncoder-Decoderで英仏翻訳のBLEU 34.81を達成。逆順入力など実装の工夫も解説 [p.35], [p.43]。
  • Attention Mechanism（Bahdanau）: 固定長Context Vectorの限界を突破。DecoderがEncoder全アノテーションに動的に注目する仕組みを数式レベルで提示 [p.44], [p.52]。
  • GNMT（Yonghui Wu, 2016年）: Residue Connection・双方向Encoder・WordPieceモデルを組み合わせた産業規模の翻訳システム [p.53], [p.58]。Zero-Shot翻訳の実現も示される [p.69], [p.76]。
  • DNC（Alex Graves）: 外部メモリを持つニューラルコンピュータとしてのDNCを、Content Lookup・Temporal Links・Memory Usageの観点から解説。bAbI taskでFacebookのMemory Networkを凌駕 [p.104], [p.129]。

■ Part II: Entity Modelと音声AIシステムの設計思想

  • この部の核心:

Google Knowledge Graph・Amazon Alexa・Google Assistantという現実の音声AIが、どのような知識表現アーキテクチャの上に構築されているかを、Schema.orgのEntity階層とAlexaのIntent Signatureを軸に解明します。「文脈を理解する」とはEntityとPropertyとActionの組み合わせを推定することである、という設計哲学が核心です [p.140], [p.143]。

  • 論理展開:
  • Google音声検索の歴史（2008年〜）: WordPieceモデル誕生の経緯。日本語・韓国語音声検索の技術的挑戦 [p.163], [p.165]。
  • Knowledge Graph Search API: Taylor SwiftをJSON-LD形式のEntityとして返す実例で、Entity・Property・Type階層を具体的に示す [p.178], [p.183]。
  • Schema.orgの体系: Thing > Person > birthdate/award/worksForなど、Entity TypeとPropertyの階層を網羅的に整理 [p.200], [p.214]。
  • Alexa Intent Model: SampleUtterances.txtからIntentへのマッピング、SlotによるParameterの抽出、DATE/AMAZON.US_CITYなどのSlot Type [p.216], [p.242]。
  • Intent Signature: `AMAZON.SearchAction` という形式でSchema.orgのActionとEntity TypeをIntentに直結させる設計 [p.246], [p.263]。

■ Part III: Minimalist ProgramとCategorial Grammar

  • この部の核心:

Chomsky（1957年〜1995年）とLambek（1958年〜2008年）という二つの言語理論の巨人が、半世紀の隔たりを超えて「Merge」という単一の演算に収束する様子を追います。そして深層学習がChomsky Hierarchyのどの層に位置するかという問いを通じ、現代AIが言語のどの構造を捉えられているかが理論的に問い直されます [p.272], [p.274]。

  • 論理展開:
  • Chomsky Hierarchy: Type-0（再帰的枚挙可能）からType-3（正規）まで、Deep LearningとLSTMの位置づけを対応表で整理。Karpathy（2015年）がBNFを、Hochreiter（1997年）がRegular Languageを学習できると示した [p.288], [p.292]。
  • Merge操作: `Merge(drink, water) → {drink, {drink, water}}`という最小の演算が、再帰的に複雑な統語構造を生成する仕組みを段階的に解説 [p.308], [p.318]。
  • Language = Interfaces + Recursion: SM（音声化）インターフェイスとCI（概念・意図）インターフェイスの間にI-Languageが置かれ、Mergeがその計算システムを担うという構造 [p.319], [p.325]。
  • Lambek Categorial Grammar（1958年）: `(x/y)y → x` および `y(y∖x) → x` という型計算規則で、単語の型から文の型を導出するSyntactic Calculus [p.273], [p.337], [p.343]。
  • Lambek "Word to Sentence"（2008年）: pregroup構造を用いた代数的文法論。`she will see him` の型計算を `π(πrs₁jl)(iol)o → s₁` と展開する実例 [p.354], [p.359]。

■ Part IV: 言語と計算の接点 ─ 算数文章題を題材として

  • この部の核心:

分数の加減乗除、掛け算の筆算アルゴリズム、割り算の因数分解など、小学校の算数を題材に「言語で記述された問題をどのように計算に変換するか」という言語理解の本質を体感的に探ります。抽象的な理論を身近な数理操作で接地させる役割を担っています [p.363], [p.390]。

  • 論理展開:
  • 掛け算の多段アルゴリズム: `37 × 64 = 2368` を部分積の組み合わせ（37×4, 37×60等）として展開するプロセスが、計算の構造と言語記述の対応として示される [p.364], [p.371]。
  • 分数演算の視覚化: `1/2 + 2/3` を面積モデルで捉え直す表現。言語と図表と数式の三者が同じ概念を異なるモダリティで表すことの意味を示唆 [p.379], [p.383]。
  • 文章題の解法構造: 単位あたりの量・割り算の意味など、文章題の言語構造が演算の選択にどう対応するかを段階的に提示 [p.385], [p.390]。
  • Word Embeddingとの接続: KING-MAN+WOMAN=QUEENに代表されるベクトル演算が、意味の加減算として算数的構造を持つことの再確認 [p.395], [p.399]。