AIの利用とインターフェースを考える

全体概要

本セミナー「AIの利用とインターフェースを考える」は、2023年に急速に進展しつつあったマルチモーダルAIの登場を契機として、AI技術の未来と人間の役割を根本から問い直す試みです。中心的な「問い」は、「AIはどのような存在であるべきか、そして人間はAIとどのような関係を築くべきか」という点に集約されます。

講師が一貫して提示するのは、「Be My AI!」というコンセプト——AIをあくまでも人間のパーソナルなアシスタントとして設計・利用するという展望です。AI技術をめぐっては「AIが人間を超える自律的な知能を獲得しつつある」という言説が台頭しつつありましたが、本セミナーはその方向性に疑問を呈し、むしろ現段階のAI研究は「人間の持つ諸能力の再評価」のフェーズにあると捉え直します。

この問いに答えるため、講義は四つの部から構成されます。第一部では、マルチモーダルAIの登場を背景に、ボイスAIこそがAI利用拡大のゲームチェンジャーになりうるという仮説が提示されます。第二部では、電報・電話・ラジオ・テレビ・インターネットと続いたメディアのマルチモーダル化の歴史を精緻に辿り、Visualなメディアへの人間の強い欲求が産業構造変革を何度も引き起こしてきたという事実が確認されます。そのうえで、メディアとAIのコミュニケーション・モデルの根本的な違いが論じられます。第三部では、OpenAIが公開したGPT-4V System CardおよびCLIP論文を丁寧に読み解き、「眼を持ったAI」の技術的達成と限界が具体的な事例を通して分析されます。第四部では、望遠鏡・顕微鏡・CTスキャン・重力波望遠鏡・加速器といった「視覚能力を持つ機械」の歴史を俯瞰し、人間の認識能力の階層構造（感覚運動能力→言語能力→数学的認識能力）を描き出すことで、AIが依拠する人間の力の本質が照らし出されます。

全体を貫く視座は、「AIは人間の力が外部に現れたものであり、それをいかに人間のために役立てるかの設計こそが重要である」という人間中心の哲学です。

講義のロードマップ

■ Part 1: はじめに——パーソナルなAIを展望する

• この部の核心:

「Be My AI!」というOpenAIのドキュメントに見つけた言葉を羅針盤として、AIをAI優位の自律的な知能としてではなく、すべての人間が日常的に使えるパーソナルなアシスタントとして設計することこそが次の突破口であると宣言します。その鍵として、テキスト入出力を音声に単純変換するだけでなく、会話的なインタラクションを可能にする「ボイスAI」の新しいインターフェース設計が提起されます。[p.5]〜[p.18]

• 論理展開:
• ChatGPTの登録者は1億人を超えるが、スマートフォン利用者（数十億人）に比べれば圧倒的に少なく、AI技術の真の普及はまだ始まっていないという問題意識が出発点となります。[p.16]
• 人間の言語能力は約10万年前に「話す・聞く」として開花した生物学的能力であり、文字利用の普及はここ200年の出来事に過ぎません。テキストベースのChatGPTのインターフェースは、この人間の「ネイティブ」な能力に沿っていないという本質的な指摘がなされます。[p.19]〜[p.20]
• ドラえもんを例に、AIとのやり取りにキーボードが必要かという問いを立て、ボイスでの会話が「自然」であること、かつfew-shot promptの繰り返しがAIの精度向上に有効であることが論じられます。[p.40]〜[p.42]
• 結論として、単なる音声変換ではなく、新しいインターフェースと新しいデバイスの登場こそがAI利用拡大のゲームチェンジャーになると主張されます。[p.43]

■ Part 2: メディアのマルチモーダル化から学ぶ

• この部の核心:

電信から電話・ラジオ・テレビ・インターネットへと続くメディアのマルチモーダル化の歴史は、人間のVisual情報への強い欲求によって駆動され、そのたびに新しいデバイスと巨大産業を生み出してきました。しかしメディアとAIはモデルが根本的に異なるため、単純なアナロジーは成り立ちません。メディアの両端には共通の感覚能力を持つ人間が存在し、コンテンツの同一性を保証するのは人間の側です。AIのAgent-Base-Modelにおいては、感覚能力の拡大と「自律性・能動性」が問われます。[p.47]〜[p.98]

• 論理展開:
• 電信→電話（信号から音声へ、双方向性の獲得）、無線→ラジオ（1対多へ）、ラジオ→テレビ（イメージ追加）というマルチモーダル化の各段階が整理されます。[p.51]〜[p.53]〜[p.63]
• メディアのVisual化への志向は、InstagramやTikTokがFacebook・Twitterを挑戦した事例に示されるように、インターネット時代においても一貫して続いています。インターネットの帯域の圧倒的部分がVisual情報で占められているという現実が指摘されます。[p.76]〜[p.77]
• シャノンの通信モデルを援用して「コンテンツの同一性を保証するのは、メディアの両端に位置する人間が共通の感覚能力を共有すること」であると論じ、マルチモーダルAIのAgent-Base-Modelとの構造的差異が図示されます。[p.82]〜[p.95]
• 現在のGPT-4Vは「環境の独立性」を認識した自律的・能動的なAgentの要件を満たしておらず、人間との協力・共存の道を選ぶべきだという方向性が示されます。[p.97]〜[p.98]

■ Part 3: AIのマルチモーダル化の始まり

• この部の核心:

GPT-4V System CardとCLIP論文の精読を通じて、「眼を持ったAI」の技術的達成と限界を具体的に検証します。GPT-4Vは複雑な科学図表の読解、毒キノコの識別、テキストスクリーンショットの解釈など幅広い能力を示す一方、幻覚・ステレオタイプ的推論・視覚的脆弱性・偽情報生成のリスクといった深刻な限界を抱えています。CLIPは大規模なテキスト・画像ペアによる訓練で画像認識を高度化しましたが、手書き数字や分布外データへの汎化失敗、natural language supervisionの限界、バイアス問題など多くの課題が残ります。[p.102]〜[p.173]

• 論理展開:
• GPT-4Vは「Jail Break」（スクリーンショットを使った安全制約回避）に対してローンチ版で対応済みである一方、化学物質合成情報の提供、医療画像の誤診断（同一の画像に対して異なる回答を返す不安定さ）、国旗に基づく採用差別的推論（アーリー版）などの問題が具体例とともに示されます。[p.105]〜[p.141]
• OpenAIはCLIPについて「ディープラーニングはコンピュータ・ビジョンに革命をもたらしたが現在のアプローチには大きな問題がある」と厳しく認識しており、natural language supervisionを通じたゼロショット予測によりImageNetモデルを上回る性能を達成したものの、計算量は最先端性能到達に1000倍の増加が必要と推定されます。[p.150]〜[p.163]
• CLIPの「任意の画像分類タスクを実行できる能力」はオムニユースである反面、監視・差別への転用リスクを孕み、社会的バイアスの問題は未解決です。[p.165]〜[p.173]

■ Part 4: AIの進化と人間の役割

• この部の核心:

望遠鏡・顕微鏡・CTスキャン・重力波望遠鏡・加速器CERNといった「視覚能力を持つ機械」の歴史を辿ることで、機械は常に人間の感覚能力の拡大として構想・構築されてきたことが示されます。人間の認識能力の階層——感覚運動能力・言語能力（ことばと文字）・数学的認識能力——が整理され、大規模言語モデルは「文字を読む」領域に依拠し、マルチモーダルAIはその範囲を視覚・聴覚・音声へと拡張しようとしていると位置づけられます。RLHFの登場こそが、「人間の力の再評価」という現段階のAI研究の本質を体現しています。[p.177]〜[p.289]

• 論理展開:
• ガリレオの望遠鏡からJames Webb Space Telescopeまで、またレーウェンフックの顕微鏡からCERNのATLAS検出器まで、すべての観測機械は人間の感覚能力の拡張として人間によって構想されたものであり、認識活動の「自律性・能動性」は人間の側にあることが強調されます。[p.188]〜[p.224]
• 人間の認識能力の階層（動物と共通の感覚運動能力→言語能力[ことば・文字]→数学的認識能力）が図示され、FOXP2遺伝子の発見（言語能力の生物学的基盤）、バビロニアの粘土板（計算能力の歴史）、リーマン幾何学（数学的認識能力の深化）などが参照されます。[p.248]〜[p.275]
• 「Inductive Bias Free」（Vision Transformerが標榜する汎用性）は大規模データへの依存と表裏一体であり、Googleの論文が示した「モデルを大規模化しても精度が上がらない」という問題に対し、OpenAIはRLHF（人間のフィードバックによる強化学習）で応答し、ChatGPTを誕生させました。これこそが「人間の力の再評価」の具体例です。[p.232]〜[p.246]
• 最終的に、大規模言語モデルは「文字を読む」領域に依拠し、マルチモーダルAIは視覚・聴覚・音声へと依拠領域を拡張しようとしているという図で講義全体が総括されます。[p.288]〜[p.289]