大規模言語モデルの展開 ? マルチモーダルへ

全体概要

本セミナー「大規模言語モデルの展開 ――マルチモーダルへ――」は、ChatGPTの急速な普及を転換点として生じているAI分野の急激な変化を、技術的連続性という視点から読み解こうとするものです。登壇者は、現在進行中の変化が「新しい何か」ではなく、大規模言語モデルの自然な「展開」であるという立場を明確に取ります [p.8]。

その技術的中心にあるのは、自然言語処理にとどまらず、コード生成・画像認識・分子構造モデリングといった多様な領域でもTransformerが優秀な能力を発揮できることが明らかになったという事実です。そして現時点での現実的な技術的焦点として、「テキストの世界とイメージの世界の統合」――すなわちマルチモーダルなAI――が位置づけられます [p.9]。

この問いに対して本セミナーが取り上げる二つの主要プロジェクトが、GoogleのVision Transformer（ViT）とOpenAIのCLIPです [p.10]。ViTは「CNNなしでもTransformerだけで画像認識が可能である」ことを実証し、CLIPは「自然言語による監督（Natural Language Supervision）」という新しいアプローチで画像とテキストを統合します。これら二つのプロジェクトを貫く新しいアイデアとして、Inductive Bias Free・Natural Language Supervision・Contrastive Representation Learning の三概念が強調されます [p.13]。

一方で、講師は楽観論を戒める視点も忘れません。Transformerという一つのエンジンで万事解決するという単純なビジョンへの疑問を呈し、マルチモーダル化の本当の大きさは、むしろAIの入出力が「音声」で可能になることによるAI利用人口の拡大にあるとも論じます。長期的には、大規模言語モデルの最大の貢献は「人間にことばの壁を乗り越える現実的手段を初めて提供したこと」にあるという深い洞察で締めくくられています [p.17]。

講義のロードマップ

■ はじめに: 急激な変化の技術的文脈

• この部の核心:

ChatGPT普及という転換点を起点に、現在のAIの急激な変化がどのような技術的背景を持つのかを問います。変化の本質は「技術的連続性」にあり、arXivへの投稿数（"transformer"で10万件超）がその規模を如実に示します。

• 論理展開:
• ChatGPT普及を転換点に、AI参入エネルギーが前例のない規模に到達 [p.5], [p.6]
• 現在の変化は大規模言語モデルの「展開」であり、断絶ではない [p.8]
• 現時点の技術的焦点＝「テキストとイメージの統合」、GPT-4のマルチモーダル追加が象徴的事例 [p.9], [p.16]
• 変化のドライビングフォースは「意味の分散表現」である [p.15]

■ Part 1: 画像認識とAttention

• この部の核心:

マルチモーダルAIへの道を理解するための前提として、従来の画像認識技術の課題と、Attentionメカニズムの誕生経緯を丁寧に整理します。CNNベースのWindows Sliding、Caption生成、そしてAttentionの登場という歴史的文脈が描かれます。

• 論理展開:
• 画像認識の課題を「分類・位置決め・切り出し × 単一/複数オブジェクト」の軸で体系化 [p.24]〜[p.30]
• オブジェクト位置検出の基本手法としてWindows Sliding（OverFeat, 2014）を解説 [p.32], [p.33]
• Semantic Segmentation vs. Instance Segmentationの区別と、CNNベースFaster R-CNNへの展開 [p.45], [p.52]
• Attentionの起源：BahdanauらのNeural Machine Translation論文（2016）が「固定長ベクトルのボトルネック」を対比的手法で突破 [p.57]〜[p.62]
• GoogleのNeural機械翻訳（Encoder 8層LSTM＋Attention）がTransformerの「祖型」 [p.64]〜[p.66]
• Caption生成へのAttention応用：Kelvin Xuら「Show, Attend and Tell」（2015）がVisual Attentionを提唱、注意点の移動とCaptionの逐次生成を可視化 [p.70]〜[p.75]

■ Part 2: Vision Transformer ― Inductive Bias Free

• この部の核心:

GoogleのViTは「CNNが持つ帰納的バイアス（局所性・並進等価性・2次元近傍構造）を一切排除し、純粋なTransformerだけで最先端CNNを超える」ことを実証した画期的成果です。その鍵は画像のパッチ化によるembedding設計と、大規模データでの事前学習にあります。

• 論理展開:
• ViTのアーキテクチャ：画像を(P×P)パッチに分割→線形射影でD次元embedding→[class]トークン付加→位置embedding加算→TransformerEncoderへ入力 [p.86]〜[p.96]〜[p.108]
• 中規模データでは帰納的バイアスを持つCNNに劣るが、大規模データ（JFT-300M等）では逆転し最先端CNNを上回る [p.92], [p.93], [p.94]
• 「Inductive Bias Free」の意味：2次元近傍構造はパッチ分割時のみ利用、位置関係はすべてゼロから学習 [p.120]
• 内部表現分析：第1層の線形embeddingフィルタはCNN最下層フィルタと類似、位置embeddingは近傍パッチほど類似度が高く空間構造を自己学習 [p.128]〜[p.133]
• Attention距離の分析：低層ヘッドは局所（CNNの畳み込みに相当）、高層ヘッドは大域的Attentionを持つことが可視化で確認 [p.134]〜[p.137]
• Attention Mapによる可視化：モデルは分類に意味的に関連する領域に自発的に注目する [p.139]〜[p.144]

■ Part 3: CLIP ― Connecting Text and Images

• この部の核心:

OpenAIのCLIPは、従来の「固定カテゴリラベル」によるデータセットの限界を突破するため、インターネット上に豊富に存在する「画像とテキストのペア」を用いたNatural Language Supervisionを採用します。さらに学習効率を大幅に向上させるContrastive Representation Learningを組み合わせることで、多様なゼロショットタスクに対応する汎用的なビジョンモデルを実現します。

• 論理展開:
• 従来データセット（MS-COCO, ImageNet等）の問題点：コストが高く、固定タスク・狭い視覚概念しか対応できない [p.158]〜[p.160]
• CLIPのデータセット（WIT）：インターネットから収集した4億枚の（画像、テキスト）ペア。50万クエリでバランス調整 [p.187], [p.188]
• アーキテクチャ：画像エンコーダとテキストエンコーダを共同訓練。テスト時はテキストエンコーダで「a photo of a {class}.」形式のクラス説明文をembeddingしてゼロショット分類器を生成 [p.174]〜[p.176]
• Contrastive Learning採用の理由：キャプション予測（正確な単語生成）は非効率であり、「どのテキストがどの画像と対応するか」を予測するContrastive目的に切り替えることで学習効率が4倍向上 [p.235]〜[p.240]
• CLIPの学習目標：バッチサイズNのペアのうちN個の正ペアのコサイン類似度を最大化し、N²-N個の負ペアの類似度を最小化するsymmetric cross entropy lossを最適化 [p.241]〜[p.243]
• 評価結果：27データセット中16で、ResNet-50特徴量を使った完全教師あり線形分類器を上回る。Stanford Cars（+28.9%）、Food101（+22.5%）等で大差。EuroSAT、KITTI Distance等の専門・抽象タスクでは依然として大幅に劣る [p.227]〜[p.230]
• Contrastive Representation Learningの原理：「似ているサンプル」の表現は埋め込み空間で近く、「似ていないサンプル」は遠くマッピングされるよう学習する比較による表現学習 [p.248]〜[p.252]
• スケーリングの限界：最先端性能到達には現状の約1000倍の計算量が必要と推定。128億枚画像を1枚/秒で処理すると405年かかる [p.237]