講演資料


講義資料スライドの表紙

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナーは、2016年7月22日に開催されたマルレク（MaruLabo）の技術講義であり、「自然言語と人工知能」をテーマとして掲げています。中心的な「問い」は、ニューラルネットワークによる画像認識やロボット制御が飛躍的な発展を遂げた一方で、なぜ機械による言語理解の成果は依然として限定的なのか、という根本的な疑問です [p.7]。

この問いに答えるべく、本講義は三つの視座を縦横に組み合わせて探求を進めます。第一は、コンピュータサイエンスの側からのアプローチです。大量のコーパスを統計的に処理すれば言語の特質が掴めるという楽観的な見通しがいかに誤っていたか、そしてWord2Vecや画像キャプション生成の試みがいかにして「文法」と「意味」という本質的課題へと近づいてきたかを追います [p.8], [p.9], [p.10]。第二は、言語学からのアプローチです。ChomskyのbiolinguisticおよびMinimalist Programが提示する「普遍文法」「言語能力の生得性」「Mergeという帰納的操作」の概念を紹介し、コンピュータによるアプローチの初期の誤りを鋭く照らし出す理論的枠組みとして位置づけます [p.11], [p.12], [p.13]。第三は、画像と言語の対応付けという実践的な試みです。Scene Graphやキャプション生成の研究を通じて、現実の事物の関係構造と文の構造の間に対応関係が存在するという発見が、いかに重要な含意を持つかを論じます [p.14], [p.15], [p.16]。

探求の結論として本講義が示唆するのは、人間の言語能力は単なる統計的パターン認識に還元できず、生得的な「概念のリソース」と帰納的計算システムに支えられているという点です。意味の世界は現実の世界との素朴な対応（参照理論）によって成立するのではなく、人間の言語能力そのものが意味の世界を独自のスタイルで作り出しているのだという洞察が、本セミナー全体を貫く結論として提示されています [p.297], [p.298]。

講義のロードマップ

■ Part I: 言語へのコンピュータによるアプローチ

  • この部の核心:

大量データによる統計的言語処理から始まり、RNN・Word2Vec・IBM Watsonへと至る一連のコンピュータ側からのアプローチを概観します。「データが多ければ勝てる」という楽観論が、語と文の複雑さの次元の違い（「次元の呪い」）の前に限界を露呈する過程を丁寧に追いつつ、それでも「文法」と「意味」という本質的課題への接近がいかにして起きたかを論じます [p.8], [p.9], [p.39]。

  • 論理展開:
  • Banko & Brill (2001) の大規模コーパス実験：10億語の用例集を使っても正解率は100%に届かず、そもそも文法を利用しないアプローチの根本的限界が示される [p.23], [p.24]。
  • Bengio (2003) の「次元の呪い」：語は有限だが10語文は10⁵⁰通りもあり、語の「特徴ベクトル」導入によってこの爆発に対処する方向性が示される [p.39], [p.40]。
  • Sutskever (2011) およびKarpathy (2015) によるRNN文生成：C言語やLaTeX程度の「文脈自由文法」は習得できるが、自然言語の生成では意味が失われることが明確になる [p.44], [p.45], [p.50]。
  • Mikolov et al. (2013) Word2Vec：語の意味ベクトルが文法的・意味論的規則性を捉え、言語理解に「意味」の概念を初めてニューラルネットの枠組みで持ち込む [p.53], [p.54], [p.59]。
  • IBM Watson：ESG（English Slot Grammar）に基づく構文解析と深層構造の分析を組み合わせ、質問応答システムとして最高峰の達成を示す [p.82], [p.83], [p.84], [p.85]。

■ Part II: 言語への言語学からのアプローチ

  • この部の核心:

ChomskyのbiolinguisticおよびMinimalist Programを軸に、言語能力が生物学的・遺伝的基礎を持つ生得的なものであるという立場を紹介します。「有限の語から無限の文を生成できる」帰納性、「普遍文法（UG）」の生得性、そして言語能力を計算システムとして構成する「Merge」の概念が、コンピュータによるアプローチの初期の誤りを照らし出す理論的枠組みとして機能します [p.11], [p.12], [p.125], [p.127]。

  • 論理展開:
  • 言語能力の創造性と文法の帰納性：有限の語から無限の文を生成できるのは文法が再帰的（recursive）構造を持つからであり、すべての文例を網羅した用例集は原理的に存在し得ない [p.125], [p.126]。
  • 言語獲得と「刺激の貧困」：幼児が少ない入力から完全な文法を獲得できるのは、普遍文法と言語獲得装置が生得的に備わっているためだとChomsky は論じる [p.127]。
  • FOXP2遺伝子の発見：Simon Fisherによる言語能力関連遺伝子の特定が、biolinguisticの実証的基盤を補強する [p.134], [p.136]。
  • Principal & Parameter理論：すべての言語に共通な「原理」と言語間変異を決定する「パラメーター」の有限集合によって普遍文法を記述し、言語獲得を説明する [p.166], [p.167], [p.168]。
  • Mergeとは何か：二つのオブジェクトを一つの順序を持たない集合に結合する操作がMergeであり、これを獲得したことが人間の思考と言語の誕生を可能にしたとChomskyは述べる [p.180], [p.184], [p.186]。

■ Part III: 画像からの意味抽出あるいは自然文生成の試み

  • この部の核心:

画像とテキストの対応付けという実践的課題を通じて、文の構造（文法）と現実の事物の構造が対応しているという発見が浮かび上がります。自然言語による画像検索、Scene Graphによる画像の構造化記述、そして「文の意味」の本質への問いかけが、本Partの三本柱です [p.14], [p.15], [p.16]。

  • 論理展開:
  • Show, Attend and Tell (Xu & Bengio, 2015)：画像の特定部分へ「注意」を向けながら自然言語キャプションを生成し、失敗は文法ではなくオブジェクト認識の誤りに起因することが示される [p.235], [p.238]。
  • Karpathy & Fei-Fei (2015) の視覚・意味対応：文法構造解析（de Marneffe, 2006）によって文をフレーズに分解し、画像の一部と対応付ける訓練を行うことで、文の構造と画像の構造の対応が学習される [p.242], [p.257], [p.259]。
  • Scene Graph (Johnson et al., 2015)：画像をオブジェクト・関係・属性のグラフとして構造化し、そのグラフから比較的容易に自然言語の文を生成できることを示す。人間は適切なツールがあれば誰でも複雑なScene Graphを作成できる [p.271], [p.273], [p.287]。
  • 「文の意味」への問い返し：Scene Graphが表現するのは静的なものの存在と関係（名詞の世界）に限られ、自然言語の主役である「動詞」が扱う運動・状態変化は射程外に置かれる。意味の世界は現実世界との素朴な対応（参照理論）ではなく、人間の言語能力が独自に作り出すものであるという洞察が提示される [p.293], [p.297], [p.298]。