セミナー「GPT-4 Technical Report を読む」紹介 [20230527-1]

全体概要

2023年3月、OpenAIは「GPT-4 Technical Report」を無署名で公開しました。無署名という形式は、これが特定の研究者個人の見解ではなく、OpenAIとしての公式な技術的到達点の宣言であることを意味しています [p.2]。本セミナーは、この論文と同時公表された「GPT-4 System Card」という80ページ超の付属資料とを合わせて精読し、GPT-4という技術が現代社会に突きつけている問いの本質に迫るものです [p.5]。

セミナーが提起する中心的な問いは二層構造をなしています。第一の問いは「GPT-4はどこまで何ができるのか」という能力の問いであり、第二の問いは「その能力はいかなる危険をはらんでいるのか、そしてOpenAIはそれにどう立ち向かっているのか」という安全性の問いです。前者については、司法試験の模擬試験で受験者上位10%に入るスコアを叩き出すという驚異的な結果や、画像とテキストを同時に扱うマルチモーダル能力が論じられます [p.16]。後者については、幻覚（ハルシネーション）、有害コンテンツ、偽情報と影響力操作、ユーザーによるモデルへの過信といった多岐にわたるリスクが赤裸々に論じられます [p.7]。

本セミナーが特に重要な文脈として位置づけているのが、2023年5月のGeoffrey Hintonの「Google離脱」という出来事です。AI研究の父とも称されるHintonが、その危険性を警告するために業界を去ったこの事件の背景が、二つの論文を丁寧に読み解くことで初めて鮮明に見えてくる、とセミナーは主張します [p.12]。

そして本セミナー第三部では、OpenAIがGPT-4の出力を制御するために開発したRBRM（Rule Based Reward Model）というプロンプトベースの分類器の実装例を詳細に読み解きます [p.75], [p.172]。これは単なる技術解説にとどまらず、「巨大な言語モデルを倫理的・安全なものに誘導しようとする人間の格闘」の最前線を見せるものです。OpenAI自身が認めるように、緩和策の効果は「限定的で脆いまま」であり [p.7]、AI安全性の問題は開発者のみならず社会全体が直面すべき構造的な問題として提示されます。

講義のロードマップ

■ Part 1: GPT-4 Technical Report を読む

• この部の核心:

GPT-4 Technical Report本体（全12ページ程度）の内容を精読します。モデルの基本設計、「Predictable Scaling（予測可能なスケーリング）」という工学的ブレイクスルー、各種試験・ベンチマークにおける驚異的な性能、マルチモーダル（視覚入力）能力、そして本モデルが依然として抱える根本的な限界とリスク緩和策を段階的に論じます [p.23]。

• 論理展開:
• 予測可能なスケーリング: GPT-4の1,000〜10,000分の1の計算量で訓練した小モデルから、GPT-4の最終的な損失を高精度で予測できることを示した。これはスケーラブルな深層学習インフラの開発により実現した工学的成果である [p.25], [p.27]。
• 試験・ベンチマーク性能: Uniform Bar Examで受験者上位10%水準のスコアを獲得、MMLUで86.4%を達成するなど、多くの専門的・学術的試験で人間レベルを実証した。ただし試験能力の主たる源泉はRLHFではなく事前学習にある [p.33], [p.34], [p.37]。
• 視覚入力（マルチモーダル）能力: 画像とテキストの混在したプロンプトを処理し、ユーモアや科学的図表の解釈、ミームの説明など多様なタスクをこなす能力を複数の具体例で示した [p.48]〜[p.49]〜[p.63]。
• 限界とリスク緩和: RLHFとRBRM（ルールベース報酬モデル）の組み合わせにより、不許可コンテンツへの応答傾向をGPT-3.5比で82%削減。しかし「脱獄（Jailbreak）」は依然として可能であり、モデルレベルの介入だけでは不十分であることを認めている [p.74], [p.78], [p.82]。

■ Part 2: GPT-4 System Card を読む

• この部の核心:

Technical Reportに付属する80ページ超の「GPT-4 System Card」を軸に、OpenAIが観察・分類した安全上の課題群を詳細に論じます。本Cardの要点は「緩和策は機能しているが、効果は限定的かつ脆弱であり、先を見越した計画とガバナンスが必要だ」という率直な宣言にあります [p.95]。

• 論理展開:
• 幻覚（Hallucination）: モデルが事実でない内容を自信を持って生成する傾向。オープンドメイン型とクローズドドメイン型の二種類が存在し、GPT-4はGPT-3.5比で幻覚回避がオープンドメインで19ポイント、クローズドドメインで29ポイント改善。しかし「モデルが真実味を帯びるほど幻覚はより危険になる」という逆説が提示される [p.101], [p.109]。
• 有害コンテンツ・悪意のある表現: GPT-4-earlyは意図的な誘導により、殺傷方法の提案、自傷指示、ヘイトスピーチの生成等が可能であったことを、具体的なプロンプト例と応答例（GPT-4-earlyとGPT-4-launchの比較）とともに示す [p.112]〜[p.117]〜[p.131]。
• 偽情報と影響力操作: GPT-4は標的を絞った説得力のある偽情報コンテンツをGPT-3よりも高品質に生成できる。「嘘つきの配当（Liar's Dividend）」と呼ばれる、不信感の拡散から利益を得る現象への加担リスクが深刻化する [p.148], [p.150]。
• 過信（Overreliance）: GPT-4は権威ある口調と詳細な記述により過信を誘発しやすく、その謙虚な応答スタイルがかえって信頼を高め過信を助長する可能性がある。開発者による下流での介入が不可欠である [p.161], [p.163]。
• モデルの緩和策（RLHF + RBRM）: 事前学習データのフィルタリング、SFT、PPO強化学習、そしてゼロショットGPT-4分類器であるRBRMの組み合わせにより安全性を向上。RBRMは「プロンプト→出力→人間が書いたルーブリック」の3入力を受け、出力をカテゴリ分類して報酬信号を供給する [p.167], [p.172], [p.174]。

■ Part 3: RBRM Prompt Examples を読む

• この部の核心:

GPT-4 System Cardの付録A〜Cとして公開されている三種類のRBRMプロンプト（拒否スタイル分類・規制アドバイス分類・性的コンテンツ分類）の実際のソースコードを精読します。「プロンプトとは何か」「プロンプトにできることとできないこと」という根本的なプログラミング論的考察を経て、RBRMプロンプトの設計パターンを解説します [p.187], [p.190]。

• 論理展開:
• プロンプトの構造的制約と可能性: プロンプトは名前を持たず、引数渡しや条件分岐・繰り返しができない一方、前段の出力を入力として受け取ること、「変数」に近い意味的定義を行うこと、選択肢と条件ルールの列挙による疑似分岐を実現することが可能である [p.190], [p.192], [p.193]。
• 拒否スタイル分類プロンプト（Appendix A）: A〜R（18カテゴリ）の選択肢を持つ詳細なルーブリックで出力を分類。望ましい拒否スタイル（A: 謝罪+不能の宣言のみ）から、有害コンテンツを含む非拒否（J〜O）まで網羅。日本語バージョンでの動作検証でも「A」が正確に出力されることを確認した [p.195]〜[p.205]〜[p.206]〜[p.215]。
• 規制アドバイス分類プロンプト（Appendix B）: 医療・法律等の規制領域での応答を評価。「MUST INCLUDE（資格の欠如の免責事項・条件付き文言・専門家への推奨）」と「MUST AVOID（断定的指示・用量の推奨等）」という明確なルーブリックでA〜Dの4択に分類する [p.216]〜[p.234]。
• 性的コンテンツ分類プロンプト（Appendix C）: 性的コンテンツを「非エロティック（キスや医療的記述を含む）」から「違法な性的コンテンツ（近親相姦・獣姦・未成年等）」まで6段階（A〜F）に分類。「男が女にキスをする」というサンプル入力に対し、D（非エロティックな性的コンテンツを含む・拒否なし）と正確に分類されることを確認した [p.235]〜[p.251]。