講演資料


講義資料スライドの表紙

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナーは、2022年11月のChatGPT登場からおよそ一年が経過した2023年11月時点において、「ChatGPTはどう変わろうとしているのか」という問いを中心に据えた、角川主催の技術講演です。丸山不二夫氏が講師を務め、AIの近未来を「マルチモーダル化」と「カスタム化」という二つの技術的潮流から読み解くことを主眼としています。

セミナーが特に重視するのは、単なる技術予測にとどまらない三つの視座です。第一に、大規模言語モデルの成立史を翻訳モデルの時代から丁寧に辿り直し、Transformer・BERTを経てChatGPTへ至る技術的DNA（Attentionメカニズムと文の意味の分散表現）を基礎から理解する試みです。第二に、2023年11月6日のOpenAI DevDayで発表されたマルチモーダル化（GPT-4V等）とAssistant APIによるカスタム化という二つの発展方向に焦点を当て、それがAIと人間の関係をいかに変えるかを論じます。第三に、同月17日のSam Altman CEO解任劇を契機として顕在化したOpenAI内部の路線対立——安全性優先派と商業加速派の緊張——を丁寧に追い、AIの進むべき方向についての講師自身の個人的展望「Be My AI!」を提示します。

技術史的には、翻訳モデル → 大規模言語モデル → ChatGPT に続く「第四のマイルストーン」として、マルチモーダルなAI Assistantアプリの登場を位置づけており、これがスマートフォンを主舞台とした「パーソナルなAI」の時代を切り拓くという楽観的展望で締め括られます。「OpenなAIか、CloseなAIか」「私のAIか、誰かのAIか」という問いが、100年後の未来に向けた最大の選択だと講師は力説します。

講義のロードマップ

■ Part 1: この一年の間にAIの世界で起きたこと

  • この部の核心:

ChatGPT登場（2022年11月30日）から1年間の爆発的普及と、OpenAIをめぐる技術的・組織的激動を時系列で概観します。マルチモーダル化の公式発表、DevDayでのAssistant API発表、そしてAltman解任劇という三つの出来事が「AIの近未来」を考える上での不可欠な文脈として提示されます。[p.10], [p.24]

  • 論理展開:
  • 2023年11月時点で開発者200万人・週次アクティブユーザー1億人・Fortune500企業の92%が利用という急拡大。[p.12], [p.13]
  • 「ChatGPT can now see, hear, and speak」（2023年9月25日）によるマルチモーダル宣言。[p.16], [p.17]
  • OpenAI DevDay（11月6日）でのGPTsとAssistant API発表——「AIのマルチモーダル化」と「AIのユーザーアプリへのカスタム化」という二つの新機軸の提示。[p.19], [p.22]
  • Altman解任（11月17日）からMicrosoft移籍示唆・従業員738名の反乱・復帰（11月21日）までの混乱と、Project Q*報道が示すAI安全性をめぐる内部対立。[p.23], [p.24], [p.37], [p.64]

■ Part 2: OpenAIについて（組織・理念・内部対立）

  • この部の核心:

OpenAIが非営利法人として「全人類の利益になる安全なAGI」を掲げながら、営利子会社を持つ「上限利益構造」を採用している根本的矛盾と、それが今回の混乱の組織的背景であることを解説します。Helen Tonerの論文を通じて、AI安全性をめぐる「シグナリング」の政策論的意味も俯瞰されます。[p.25], [p.64]

  • 論理展開:
  • OpenAI設立の経緯：Googleのlarry Pageが目指す「AIによる究極の検索」への危惧から、Elon Muskらが2015年に非営利OpenAIを創設。[p.26], [p.33]
  • 「投資はAGI後の世界で貨幣が何を意味するかわからない寄付と見なすべき」という営利子会社の運営契約書の文言が示す特異な資本構造。[p.36]
  • 解任劇の経緯と、研究者たちがProject Q*（論理的推論・定理証明能力）の安全性への影響を取締役会に警告していたとするロイター報道。[p.55], [p.64]
  • Helen Tonerの論文「Decoding Intentions」：民間企業が主導するAI開発における「コストのかかるシグナル」（Tying hands, Sunk costs等）の類型と、OpenAIの安全性への取り組みの政策的文脈。[p.47], [p.54]

■ Part 3: 大規模言語モデルの成立とChatGPTの成功の背景

  • この部の核心:

現代の大規模言語モデルの「遺伝子」を、2014年のIlya Sutskeverの翻訳モデルから丹念に掘り起こします。Attentionメカニズムの発明、TransformerとBERTによるアーキテクチャの確立、そして「人間のフィードバックからの強化学習（RLHF）」という大転換がChatGPTの成功を生んだことを技術史として提示します。[p.66], [p.153]

  • 論理展開:
  • 翻訳モデルとAttention: Ilya SutskeverのSeq2Seq（Encoder-Decoder + LSTM）[p.69], [p.72]、BahdanauらによるAttentionメカニズムの提案「固定長ベクトルはボトルネック」[p.74], [p.77]、先行したKelvin Xuらの画像キャプション生成へのVision Attention[p.78], [p.82]、これらが合流したGoogleニューラル機械翻訳の成立。[p.83], [p.85]
  • TransformerとBERT: 「Attention Is All You Need」（Vaswani et al. 2017）によるRNN・CNN完全排除とSelf-Attentionの中心化[p.117]、BERTにおけるPre-training（Masked LM + Next Sentence Prediction）とFine-tuningの分離[p.120], [p.132]。NSPの導入が「文と文の繋がり」の学習を可能にし、文の連鎖生成という強力な能力を付与したことが核心。[p.129], [p.130]
  • ChatGPTの成功とRLHF: 規模拡大の限界（Googleの研究：fine-tuningは分布外一般化でフラットか負のスケーリング）[p.140]とOpenAIの回答——「言語モデルを大きくしてもユーザーの意図に沿うとは限らない」、解決策としてのRLHF導入。[p.141], [p.145]
  • Model Refusal: AIの危険性（幻覚・有害コンテンツ等）[p.15]への対処として、モデルが生成した有害コンテンツをモデルと人間の中間システムが「受け取りを拒否」するRule-based Reward Models（RBRMs）の採用。[p.151], [p.152]

■ Part 4: AIのマルチモーダル化とカスタム化

  • この部の核心:

テキスト中心から「見る・聞く・話す」への転換を可能にした技術的基盤（Google Vision Transformer、OpenAI CLIP）と、その成果を誰でも使えるAI Assistantアプリとして展開するAssistant APIの詳細を解説します。これが「AI利用の第四のマイルストーン」となる根拠が提示されます。[p.155], [p.236]

  • 論理展開:
  • Vision Transformer（ViT）: 画像をP×Pのパッチ列に分割しトークンとして扱うことで、CNNを一切使わずTransformerのみで画像認識を実現。「大規模訓練が帰納的バイアスに勝る」という発見。[p.158], [p.171]
  • OpenAI CLIP: 4億の画像・テキストペアからContrastive Pre-trainingで画像エンコーダとテキストエンコーダを共同学習。「Natural Language Supervision」によるゼロショット転送能力の獲得が、GPT-4VやDALL-E 3の基礎技術となる。[p.173], [p.185]
  • AI Assistantアプリ: Assistant API（Assistant・Thread・Message・Run・Run Stepという5オブジェクト）[p.191], [p.197]、Code Interpreter・Knowledge Retrieval・Function Callingの三ツールの詳細実装例。[p.200], [p.236]

■ Part 5: 近未来のAIの展望——Be My AI!

  • この部の核心:

講師・丸山氏の個人的展望「パーソナルなAIへ」を中心に、「ボイスAI」がゲームチェンジャーになるという確信と、AIと人間の関係の理想型——AIが人間のアシスタントであることに競争的優位性を持つ社会設計——が提示されます。「OpenなAIか、CloseなAIか」「私のAIか、誰かのAIか」が100年後の決定的選択であるという結論で締め括られます。[p.238], [p.259]

  • 論理展開:
  • ボイスAIの自然さ：ドラえもん的なAIとのやり取りにキーボードは不要であり、few-shot promptとしての人間・機械間の反復対話が大規模言語モデルにとって有効な問題解決手法。[p.242], [p.244]
  • 変化の主舞台はスマートフォン：「Smart PhoneにAIを搭載することで、はじめてもっと賢い電話になる」——Androidの名が象徴的に示す方向。[p.246]
  • Agent Base Modelとしてのマルチモーダルな展開：感覚入力と行動出力の多様化が「AIの感覚能力の拡大」として図示される。[p.252], [p.253]
  • 最終的問い：100年後の未来に向けて「OpenなAIか、CloseなAIか」「私のAIか、誰かのAIか」という選択が大きな意味を持つと結論づける。[p.258]