講演資料


講義資料スライドの表紙

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナーは「AIは意味をどのように扱っているのか？」という根本的な問いを出発点とし、現代の大規模言語モデル（LLM）が「ことばの意味」をコンピュータ上で表現するに至った技術的系譜を、2003年から2019年にかけての重要論文群を軸に丁寧に辿るものです。[p.1], [p.2]

ChatGPTが多くの人々に強い印象を与える理由は、機械が自在にことばを操る能力を獲得したように見えるからです。翻訳・関連データ検索・要約・対話といった「言語能力」の画期的進歩は、「大規模言語モデル」という技術の登場と成長によって初めて可能となりました。その成長の鍵は、「ことばの意味」をコンピュータ上で表現する方法を見つけたことにあります。[p.5], [p.6], [p.7]

重要なのは、この技術が「意味が同じ」ことのみならず「意味が近い」こと、さらには言語を超えた「意味の共通表現（インターリンガ）」の存在をも計算機上で扱えるようにした点です。Googleの多言語ニューラル機械翻訳の実験は、異なる言語で同じ意味を持つ文が、ネットワーク内部で共通のベクトル空間にクラスタリングされることを視覚的に示しており、これは「普遍的な意味表現」が存在することを強く示唆しています。[p.8], [p.82], [p.83], [p.84], [p.85], [p.86], [p.87], [p.88]

本セミナーは、この「意味の分散表現」技術の系譜を、Bengioの分散表現論（2003年）→HintonのAutoencoder（2006年）→RNNによる文生成（2011年）→Word2Vec（2013年）→Sequence to Sequence（2014年）→Attention Mechanism（2016年）→Transformer（2017年）→BERT（2019年）という連鎖として歴史的・論理的に描き出します。講師は、21世紀のAI技術を18世紀の蒸気機関に喩え、技術が先行し理論がそれを後追いするという現在のフェーズを強調します。この技術の背後にある理論はいまだ多くの謎に満ちており、探求はまさに進行中です。[p.10]

講義のロードマップ

■ Part 1: 意味の分散表現論のはじまり

  • この部の核心:

「文」全体を統計的に扱うアプローチが「次元の呪い」により限界に達したことへの反省から始まり、まず「語」に意味のベクトル表現を与え、そこから「文」の意味へと段階的に拡張していく一連のブレイクスルーを追います。語の意味をm次元の実数ベクトルとして表現することで「意味の近さ」を定義できるというアイデアが、この部の核心的革新です。

  • 論理展開:
  • 2003年 Bengio: 大量データの統計処理（Very Very Large Corpora）が言語理解に限界を持つことを示し、語ごとに「特徴ベクトル（word feature vector）」を割り当て確率関数と同時学習する神経確率的言語モデルを提案。「次元の呪い」への根本的対処として分散表現を導入。[p.15], [p.16], [p.17], [p.18], [p.19]
  • 2006年 Hinton: Autoencoderにより高次元データ（画像・文書）を低次元ベクトルに圧縮する「意味的ハッシング（Semantic Hashing）」を実現。Encoderが情報のエッセンスを抽出し、Decoderが復元するという枠組みが、後のEncoder-Decoderアーキテクチャの雛形となります。文書カテゴリが2次元投射上で自然にクラスタリングされる様子が示されています。[p.21], [p.22], [p.23], [p.24]
  • 2011年 Sutskever: 5億文字のテキストでRNNを訓練し、文法的・構文的には正しく見えるテキストを生成。数学論文・Cプログラム・新聞記事のモドキを生成してみせ、「RNNは文法を理解している」という命題を実証的に示します。意味は欠くが構文は正しい、という事実が重要な示唆を持ちます。[p.27], [p.28], [p.29], [p.57], [p.58], [p.59], [p.60], [p.61], [p.62], [p.63], [p.64]
  • 2013年 Mikolov（Word2Vec）: 語が埋め込まれたベクトル空間が言語学的に意味のある構造を持つことを発見。`W("woman")−W("man") ≃ W("queen")−W("king")`というVector Offset Methodや、国と首都の対応関係が共通のベクトルで表せることを示し、語の意味の近さをcosine similarityで定量化できることを確立。CBOWとSkip-gramという二つの学習方式も提案。[p.31], [p.32], [p.33], [p.34], [p.35], [p.36], [p.37], [p.38], [p.39], [p.41], [p.42], [p.43], [p.44], [p.45], [p.46]
  • 2014年 Sutskever（Seq2Seq）: 入力シーケンスを「固定次元のベクトル」に圧縮し別のLSTMがデコードするという翻訳モデルを構築。この中間ベクトルこそが「文の意味ベクトル」であり、二つの言語の文が「同じ意味」を持つことを媒介する表現であると解釈されます。英仏翻訳でBLEUスコア34.81を達成。[p.48], [p.49], [p.50], [p.51], [p.52], [p.53], [p.54]

■ Part 2: 大規模言語モデルへ

  • この部の核心:

Seq2SeqにおけるEncoder最終状態という「固定長ベクトルのボトルネック」を、Attention Mechanismが突破します。さらにTransformerはRNN・CNNを完全に廃してAttentionのみで高性能を達成し、BERTはTransformerのEncoderを双方向・大規模事前学習に特化させることで、単一のモデルが多様な言語理解タスクへ転用可能な「言語表現モデル」として完成します。