講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
このセミナーは「AIは意味をどのように扱っているのか？ ── ChatGPTの不思議 ──」と題し、現在のAI技術、とりわけ大規模言語モデル（LLM）が「意味」という概念をどのように計算機上で扱っているのかを、技術史的な流れに沿って深く掘り下げる試みです。
セミナーの出発点は、2022年末から2023年初頭にかけてIT業界に走った衝撃、すなわちChatGPTの登場がGoogleに「コード・レッド」を引き起こし、MicrosoftがOpenAIに100億ドル規模の投資を進めるという業界再編の予兆です。この文脈を踏まえつつ、講義は「なぜChatGPTはGoogleの検索ビジネスを脅かすのか」という問いを起点に、Googleが長年構築してきたKnowledge GraphとEntityモデルという「意味の記号的・構造的表現」のアプローチと、ニューラルネットワークに基づく「意味の分散表現」のアプローチを対比的に論じます。
前者のEntityモデルは、人間が集合知（folksonomy）によって定義した「もの・こと」の存在論的構造（Ontology）を機械に与えるものですが、その構築は人力に依存し、網羅性に原理的な限界があります。後者の分散表現論は、BengioやHintonらの問題意識を源流として、語の意味を高次元ベクトルで表すWord2Vec（Mikolov, 2013）から始まり、Seq2SeqモデルやAttention機構を経てGoogleのニューラル機械翻訳（GNMT, 2016）へと結実します。そのGNMTの多言語拡張実験において、異なる言語で同じ意味を持つ文が共通のベクトル空間にクラスタリングされるという「インターリンガ（interlingua）」の存在が示唆されたことは、機械が言語横断的な意味の共通表現を自律的に発見する能力を持つ可能性を示す、エポックメイキングな発見です。
セミナー全体の結論として浮かび上がるのは、「意味の共通表現が存在し、それを機械が自律的に発見できる」という事実こそが、ChatGPTへと続く大規模言語モデルの成功の本質的な基盤であるという洞察です。同時に、RNNが文法的に正しい文章を生成できても意味を持たせられなかった段階の議論や、compositionalityの欠如という現行LLMの弱点への言及は、この技術の限界を冷静に見つめる視座も提供しています。
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ はじめに: ChatGPTに対するGoogleとMicrosoftの反応
ChatGPTの登場が単なる技術的新奇性にとどまらず、Googleの検索＋広告という21世紀のIT基盤ビジネスモデルを根底から脅かしうる事業インパクトを持つことを、実際の報道・業界動向を通じて示します。「意味を直接答える」AIと「リンクを返す」検索エンジンの本質的差異がここで示されます。 [p.4, p.5, p.6, p.7, p.8]
■ Part 1: Google検索と意味理解
Googleの検索技術が2012年のKnowledge Graph導入を境に「文字列検索＋PageRank」から「Entity・知識グラフベースの意味検索」へと転換したことを論じます。EntityモデルとIntentモデルという二つの意味理解アプローチの進化と融合、そしてその本質的弱点であるfolksonomy依存性が明らかにされます。 [p.16, p.17, p.19]
■ Part 2: 意味理解への様々なアプローチ
意味理解のアプローチを「語の意味表現」「文の構成性（compositionality）」「文の意味表現（Semantics）」の三軸で整理し、現在の主流実装（Intent/Entity/機械翻訳モデル）がいずれも文法的構成性を明示的に扱っていない事実を浮き彫りにします。 [p.50, p.51, p.58]
■ Part 3: 意味の分散表現論の登場
「次元の呪い」という組み合わせ爆発問題を出発点として、語の意味を多次元ベクトルで表す分散表現論の誕生を辿ります。HintonのAutoencoder、MikolovのWord2Vec、IlyaのRNNによる文生成という三つの源流が合流して、文の意味ベクトルへの道が開かれます。 [p.71]
■ Part 4: 意味の分散表現論の発展
Seq2SeqモデルによるEncoderとDecoderの接続が「文の意味ベクトル」という概念を生み出し、Attentionメカニズムが固定長ベクトルのボトルネックを解消したことで、GoogleニューラルMT（GNMT）が実用化されます。多言語GNMTの実験においてインターリンガ（普遍的意味表現）の存在が示唆され、大規模言語モデルの成功の本質的根拠が与えられます。 [p.131, p.132]
ページのナビゲート