公開したセミナー

講演資料

パートごとのドキュメントへのアクセスは、「公開詳細情報」をご利用ください。

講演ビデオ

↑ 見出しクリックで、セミナー全体のYouTube動画の再生リストにアクセスできます。

Deep Dive Audio 20250816

↑ 見出しクリックで、AIによるセミナーのコンテンツの音声概要を聞くことができます。
セミナー全体の音声概要「LLMは意味をどう捉えるか？」は、こちらからもアクセスできます。

公開詳細情報

↑ 見出しクリックでセミナーの公開詳細情報にアクセスできます。

AIによる調査レポート「意味論における数学的ルネサンス」

マルレク「LLMと意味の理論モデル概説」に対するAI(Gemini)による調査レポート「意味論における数学的ルネサンス：大規模言語モデルの新たな理論的枠組みに関する分析」です。セミナーの講演資料だいぶ長いのですが、この要約は正確だと思います。セミナーの概要を知るのにご利用ください。

LLMと意味の理論モデル概説

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

はじめに

LLMの言語の意味理解能力の獲得と驚異的な言語運用能力の実現という現実の進行を目の当たりにして、それを説明しようとする問題意識と理論が次々に生まれています。

MaruLaboでは、この夏以降しばらくの間、「LLMの理論モデルの新しい展開」という共通テーマで、複数のセミナーを連続して開催しようと思っています。

今回のセミナーは、今後予定している一連の「LLMの理論モデルの新しい展開」セミナーの全体の概要を紹介するものです。

Transformer意味論の問題

現在主流のTransformer意味論には、次のような問題があることが指摘されています。

1. 説明可能性の欠如=ブラックボックスとしてのLLM
   Transformerは、その驚異的な性能にもかかわらず、学習された表現の内部の論理を解読することが極めて困難です。
2. 意味の構成性と文脈依存性をめぐって　
   アテンションの重みは情報の混合比を決定するのですが、その合成を支配する明示的で厳密な文法的・論理的構造は存在しません。それは構造化された導出ではなく、重み付け和に過ぎないものです。
3. 学習データの巨大化と力まかせの処理
   Transformerアーキテクチャは、その成功のために膨大な量のデータと計算リソースを必要としています。その性能は、モデルとデータの規模に大きく依存しています。それは、LLMが学習に利用する言語データが、「何の構造も持たない」と前提しているからです。

先行した二つの研究とカテゴリー論の利用

LLMと意味の理解の問題に切り込んだ先駆的な研究が二つあります。

一つは、Tai-Danae Bradleyらの「米田埋め込み」にインスパイアされた enriched co-presheaf 意味論で、もう一つは、Bob Coeckeらの「言語はそもそも量子論的だ」というQNLPです。

BradleyとCoeckeのアプローチでには大きな違いもあるのですが、言語と意味の理解についてその「構成性」が重要であるという認識では、両者は一致しています。

両者は、何の構造も持たないように見える言語データ自身に、すでに構造が先在的に内在していると考えます。こうした構造を、「構造的プライア（structural prior）」と呼びます。

こうした、Bradley とCoeckeのアプローチは先に見た現在主流のTrnsformer意味論への共通の批判的立場を提供するものです。

両者はまた、カテゴリー論（圏論）を主要な数学的なツールとして用いています。これも大きな特徴です。

Bradleyのenriched cayegiryの利用、Coeckeのcompact closed category の利用は、特徴的なものです。また、両者は文法的=構文論的なカテゴリーから意味のカテゴリーの導出に、二つのカテゴリーの構造を保存する functor(関手)を利用します。

こうしたカテゴリー論的フレームワークは、次の節で見るLLMと意味の理論をめぐる現在進行中の様々な取り組みに大きな影響を与えています。

LLMと意味の理論モデルの新しい展開

こうした先駆的な研究を受けて、現在、活発に研究されているLLMと意味の理論では、僕は次の三つの流れに注目しています。今回の連続セミナーで取り上げようと思っているのは、こうした流れです。

ここでは、こうした流れの特徴を簡単に紹介しようと思います。あわせて、それらを代表する論文を上げておこうと思います。

1. Bradleyらの意味の距離空間モデルとMagnitude概念の導入
   
   Bradleyは、現在のLLMの働きを反映しているテキストの確率論的モデルに、再び enriched categoryの手法を適用して、新しいMagnitude概念をベースとした意味の距離空間モデルを構築し、そこが意味解釈の舞台として望ましい性質を持っていることを示しました。
   
   ・The Magnitude of Categories of Texts Enriched by Language Models
   
2. Coeckeらの量子コンピュータ上でのQNLP実装の進展
   
   Coeckeらは、限られた実験環境のもとでも、着実に量子コンピュータ上での自然言語処理の実装を進めています。特に近年のsurface codeを中心とする量子コンピュータ実装技術の発展は、大きな追い風になっています。
   
   ・Scalable and interpretable quantum natural language processing: an implementation on trapped ions
   
3. VlassopoulosらのLLMの内部動作の解析
   
   上の二つの流れとは、少し異なる取り組みです。LLMに外部から入力として与えられている学習データやLLMの外部への出力の特徴を分析するのではなく、現在のLLMの内部の振る舞いを具体的に数学的に解析しようとしたものです。驚くべきことに、その解析結果は、Bradleyらの意味モデルを支持するものになっています。
   
   ・Directed Metric Structures arising in Large Language Models

新しいモデルの数学的ツール

この注目すべき三つの流れは、それぞれ異なる数学的なツールを中心的に利用しています。その概略を紹介します。

• 第一のBradleyらのグループの理論展開では、magnitude論、magnitude homology論の利用が目を惹きます。magnitude論を用いて「意味の近さ」だけでなく「意味の形」「意味の空間の幾何学（例えば、「意味空間の穴」）」が縦横に語られます。
  
  magnitude論は、エントロピー論と深い関係を持っているのですが、Bradleyの論文は、基本的には言語理論の論文なのですが、統計力学の分配関数に遡って、シャノン・エントロピーとmagnitudeとの関係が論じられています。
  
• 第二のCoeckeらのグループの研究が利用する数学的ツールで興味深いのは、CoeckeがQNLPとは独立に（おそらく）量子力学のツールとして展開してきた string diagramを利用するZX-calculusの技術が、ぴたりと彼のQNLPの理論と実験の中に組み込まれようとしていることです。
  
  ZX−calculusは、現在の量子コンピュータ技術の革新の中心であるsurface codeの基礎理論として、熱い期待を集めている技術です。
  
• 第三のVslassopoulosらの用いる数学的ツールは、少しなじみがないものかもしれません。それは、Tropical代数と言われるツールです。
  
  Tropical代数については、マルレクで取り上げたことがあります。次の資料を参照ください。
  
  ・ニューラル・ネットワークの数理 −− Tropical代数入門

今回のセミナーの目的

こうしたトピックを取り上げて、今後の「LLMの理論モデルの新しい展開」を共通のテーマとする連続セミナーの概要を明らかにすることが目的です。

セミナーに向けたセッション資料

Transformer意味論の問題とLLMの理論モデルの新しい展開

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの理論モデルの新しい展開については、次の音声概要をご利用ください

新しい展開の理論的背景を探る −− 二つの先行研究

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

大規模言語モデル登場の衝撃とBradleyの理論の発展

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyのcopresheaf意味論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Appendix B: Bradley論文リスト

arXivに投稿したBradleyの論文リストです。Abstractが読めます。
こちらのblogの方が読みやすいかもしれません。
https://maruyama097.blogspot.com/2025/08/taidanae-bradley-biblio.html

The post LLMと意味の理論モデル概説 first appeared on MaruLabo.

AI とマインクラフトの世界 −− セミナー概要

DreamerV3 −− ゲームをするAI

今回のセミナーで紹介するAiは、役にたつプログラムを教えてくれるわけでも、面白い画像を作ってくれるわけでも、レポートを書いてくれるわけでもありません。DeepMind社のAI DreamerV3は、ひたすらゲームをするAIです。

このページトップののgif画像は、DreamerV3のGitHubのトップページからのもので、DreamerV3が行ったゲームを表しています。DreamerV3は、Minecraftに限らず、数多くのゲームをプレイすることのできるAIなのです。

この「ゲーム・オタクAI」の何が興味深いのか？

AI Agentの自律性と言語能力

現在のAIの進化をAIのAgent化、大雑把に言って、AIの「自律性の拡大」として捉えることは、正しいと思います。

前回のセミナーで見た、ソフトウェア開発サイクルの変化の中でのAI Agentの役割は、AIがLLMモデルの成功によって獲得した人間のことばの意味を理解する能力に基づいています。そこで見たAI Agentの中核には、全てLLMが存在していました。

そこでは、人間の自然言語による荒い指示の残余を、AIがその意味理解能力によって埋めることが「AIの自律性」と考えられているように思います。

今回取り上げるDreamerV3は、まぎれもなく自律して行動するAI Agentですが、ただ、そこには、LLMは存在しません。

言語能力以前から存在しうるAgentの自律性？
知性の無いAI Agentに自律的な行動ができるのか？　

でも、いったんAIの世界を離れて見れば、人間のような言語能力を持たないバクテリアや昆虫が、自律的に行動しているのは明らかだと思います。

AIのMulti Modal化

抽象的なレベルでAgentの自律性を構成しているものを考えてみましょう。
第一に、自律性の前提として、Agentとその外部（「環境」と呼ぶことにしましょう）とが、へだてられていることが必要です。第二に、Agentは外部から完全に切り離されて孤立しているわけではなく、その環境と相互に双方向に関係を持ちます。

「自律的なAgent」の成立には、Agentが環境からの多様な情報を受け取る能力の拡大が必要なのです。この能力は、AIの世界では、「AIのMulti Modal化」と呼ばれています。

今から見ると、少しマヌケな図に見えますが、AgentとしてのAIは、こうして誕生したのだと僕は考えています。

ゲーム・オタクAIのDreamerV3は、外部の環境（ゲームのビデオ画面ですが）から多様な情報を受け取る Multi Modal AIです。特筆すべきことは、彼はそれを自身の内部の「世界モデル」に変換します。

ゲームをする人間の力

ゲームをするAIは、珍しいものではありません。

特に、同じDeepMindが開発したAlpha GO は、画期的なものでした。画期的すぎて、人間はプロを含めて誰もAlpha GOに勝てなくなって、DeepMindはそれ以上の開発を中止しました。あの衝撃的な事件以来、多くの人がゲームでは人間はAIに勝てないと心に刷り込まれたかもしれません。

でも、違うんです。

人間は、Minecraftで小学生だってダイアモンドを採掘できます。でも、ダイアを見つけたからといって、Minecraft のゲームをやめる小学生はいないと思います。ダイアモンド製のツルハシを作って、新しい冒険に向かうはずです。

DreamerV3は、確かに素晴らしい！　ただ、彼は、高価なGPUを数十台並べ、おそらく膨大な電力を消費して、 Minecraftで一個のダイアモンドを発見すると探索をやめてしまいゲームを終了します。

Alpha GOとは違って、 DreamerV3は、コンピュータには解けないけど人間が楽しめるゲームがあることを示しているのだと思います。それは、ゲームをする人間には、大きな力が秘められていることを意味していると僕は考えています。

DeepMindのAI開発のビジョン

今回のセミナーでは、後半でDeepMindのAI開発のビジョンを紹介したいと思います。

次の三つのプロジェクトを紹介します。

　　● DreamerV3
　　● Alpha Geometry
　　● Alpha Evolve

Deep Dive Audio Video

AI がゲーム「マインクラフト」でダイヤを発掘する ！ (音声概要)

Part 1 DeepMind DreamerV3とは何か

「AI とマインクラフトの世界」はじめに

↑＊＊＊このビデオ 5:10 ~ 6:10 くらいまで画面がフリーズしています。＊＊＊
↑＊＊申し訳ないですが、プログレスバーでスキップしてください。　 ＊＊＊
↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

DreamerV3の何が画期的なのか

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 昔の話をしよう

AIと「世界モデル」1 −− 昔の話をしよう

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Winogradの「積み木の世界」1970年（音声概要）

AIと「世界モデル」2 −− 昔の話をしよう

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Brooks “Intelligent without representation” 1987年（音声概要）

Part 3 DreamerV3でのAI技術の飛躍

DreamerV3はEnder Dragonを倒せるか？

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Diamondはどう獲得されたか？ （音声概要）

今週末のマルレクへのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

DreamerV3でのAI技術の飛躍

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 4 DeepMindの研究動向とDreamerV3

DeepMindの三つのプロジェクト

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

DeepMindのAI開発のビジョン

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

DeepMindのAI開発のビジョン (音声概要)

ディドロのオウム −− 昔の話をしよう (3)

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post AI とマインクラフトの世界 first appeared on MaruLabo.

公開したマルレクのセミナーならびにコラムの音声概要へのリンク・ページです。
セミナーの画像をクリックすると、そのセミナーの音声概要ページにアクセスできます。
また、セミナーのまとめページとセミナーのビデオの生成リストにもアクセスできます。

セミナー

マグニチュード論の展開

↑ 見出しクリックでセミナーのまとめページにアクセスできます。
↓ 画像クリックでセミナーのセミナーの音声概要ページにアクセスできます。
→ 次のリンクのクリックでセミナーの動画の再生リストにアクセスできます。

[ai_playlist id="7138"]

マグニチュードとは何か

↑ 見出しクリックでセミナーのまとめページにアクセスできます。
↓ 画像クリックでセミナーのセミナーの音声概要ページにアクセスできます。
→ 次のリンクのクリックでセミナーの動画の再生リストにアクセスできます。

[ai_playlist id="7243"]

LLMと意味の理論モデル概説

↑ 見出しクリックでセミナーのまとめページにアクセスできます。
↓ 画像クリックでセミナーのセミナーの音声概要ページにアクセスできます。
→ 次のリンクのクリックでセミナーの動画の再生リストにアクセスできます。

[ai_playlist id="7259"]

AI とマインクラフトの世界

↑ 見出しクリックでセミナーのまとめページにアクセスできます。
↓ 画像クリックでセミナーのセミナーの音声概要ページにアクセスできます。
→ 次のリンクのクリックでセミナーの動画の再生リストにアクセスできます。

[ai_playlist id="7102"]

ソフトウェア開発サイクルの変革とAI Agent の動向

↑ 見出しクリックでセミナーのまとめページにアクセスできます。
↓ 画像クリックでセミナーのセミナーの音声概要ページにアクセスできます。
→ 次のリンクのクリックでセミナーの動画の再生リストにアクセスできます。

[ai_playlist id="6836"]

コラム

Modular Form が辿った道

↑ 見出しクリックでコラムのまとめページにアクセスできます。
↓ 画像クリックでコラムの動画の再生リストにアクセスできます。

音声概要再生プレーヤー

ラングランズ・プログラムとは何か

↓ 画像クリックでコラムの動画の再生リストにアクセスできます。

Langlands

MaruLaboについて

MaruLaboについて、AIがレポートしています。
MaruLaboのテーマソングも、こちらから聴けます。

The post Deep Dive Audio first appeared on MaruLabo.

マルレク・コラムの音声による概要紹介を始めました

マルレクのコラム「現在・過去・未来」の音声による概要紹介を始めました。

「ショート・ムービー」と言いながら30分を超えて誰もみてくれなかったり、「リール動画」は話の最初の数十秒で切れて何も伝わらなかったり。マルレクのたびに、その概要を伝えるのに苦労していました。

AIが生成した、音声による概要のまとめは違います。
充分短いですが、ちゃんと完結したストーリーで概要を語ってくれます。素晴らしい！

不思議な数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

ラマヌジャンのMoonshine

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

1 + 196883 = 196884

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

145億年間、宇宙を旅した光子の物語

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

新しい数学と新しい物理学

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Turingの「機械は考えることができるか？」論文から、今年は75周年にあたります

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コラム「現在・過去・未来」 first appeared on MaruLabo.

8/31 マルレク「コンピュータと数学」コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

8月マルレク「コンピュータと数学 1 — TuringからVeovodskyまで」へのお誘い

AI技術の次の未来を展望する

「大規模言語モデル」ベースの現代の生成AI技術は、ネット上の膨大なテキストの集積を学習して、そこから、人間の「言語能力」と呼ばれているものの基本的部分 –「意味の理解」「新しい文の生成」「対話形のコミュニケーション」、「文字として蓄積された情報の活用」等 — をコンピュータ上で実現することに成功しました。

それは画期的なものです。この連続セミナーは、歴史的な成功をおさめたAI技術の次の未来を展望することを目的としています。

それなら、「AIの未来」のようなタイトルの方が良かったと思われるかもしれません。

ただ、一見するとAIとの関係がはっきりしない、一般的な「コンピュータと数学」というタイトルを選んだのには理由があります。それは、AIの未来についてのつぎのような僕のビジョンに関係しています。

AIの未来についての三つのビジョン

第一。僕は、未来の（あるいは、近未来なのかも）AIの発展の課題の焦点の一つは、人間の二つの基本的能力である「言語能力」と「数学的＝論理的能力」の「統合」の課題だと考えています。

第二。ただ、「大規模言語モデル」は人間の「言語能力」の理解に画期をもたらしたのですが、ただ、その方法の素朴な延長では、AIの数学＝論理的能力の飛躍は望めないだろうと考えています。

それなら、「AIと数学」というタイトルがいいのではという考えもあると思います。でも、そうしたタイトルを選びませんでした。

一つには、大規模言語モデルベースの生成AI技術の華々しい成功の中で、ほとんどの人が「AI ＝ 生成AI」と思っている現状では、先の「第二」の論点は、なかなか伝えるのが難しいと感じたからです。

コンピュータは、それ自身で「数学的＝論理的能力」を持っている

もう一つには、僕がこのセミナーで伝えたいAIの未来について、もう一つのメッセージがあるからです。

第三。そもそも、コンピュータは、それ自身で「数学的＝論理的能力」を持っているという考えかたがあるということです。

こうした考えを進めれば、わざわざ、「大規模言語モデル」の上に数学的＝論理的能力を構築しようとするのは、コンピュータが本来持つ力を過少に評価しているのであって、それは余計な回り道だということになります。

僕は、こうした考えに魅力を感じています。こうした考えは、新しいものではありません。それは、コンピュータの歴史と同じくらい古いものです。ですが、生成AIの登場によってその考えが古びるものではないと僕は考えています。

「AI」という言葉は、少し窮屈

今回のセミナーでは、「AI」と言うことばをタイトルから外して、「コンピュータ」ということばに置き換えてみました。それで、すこしは自由にAIの未来を考えることができると感じています。

要するに、「AIの未来」を、「AI」を主語とするのではなく、「コンピュータ」を主語として、「コンピュータの未来」というパースペクティブで考えてみようというのが、今回のセミナーの趣旨です。僕の問題意識からすると、その焦点は、コンピュータの数学的能力だということになります。

もっとも、今回のセミナーが、「数学の歴史の話」でも「生成AI批判」でもなく、歴史的な成功をおさめたAI技術の次の未来を展望することを目的としていることを説明するのに、これだけグダグダ語らねばならないというのは、どこかでボタンを掛け違えたのかもしれませんね。ただ、このシリーズ少し続けてみようと思います。

今回のセミナーの構成

今回のセミナー「コンピュータと数学 1 — TuringからVeovdskyまで」は、次のような構成をしています。

　Part 1 機械は考えることができるか？
　　・Turingが考えたこと
　　・Veovodskyが考えたこと

　Part 2 「計算 = 証明 = プログラム」という認識の発展
　　・Curry-Howard 対応
　　・Martin-LofのDependent Type Theory
　　・VeovodskyのHomotopy Type Theory I — Dependent Type
　　・VeovodskyのHomotopy Type Theory 2 — Univalent foundations

　Part 3 コンピュータによる数学的証明
　　・連続体仮説の独立性証明
　　・Feit–Thompson定理の形式的証明
　　・ケプラー予想の証明

Turingは、「機械は考えることができるか？」という問題を、初めて提起しました。
Veovodskyは、「すべての数学的証明はコンピュータ・プログラムの形をとるべきだ。」と主張し、それを実行しようとしました。

二人のコンピュータ観には、大きな飛躍があります。

今回のセミナー「コンピュータと数学 1 — TuringからVeovdskyまで」は、こうした飛躍をもたらしたものが、「計算 = 証明 = コンピュータ・プログラム」という認識が、「型の理論」の中で成立したからだと考え、「型の理論」の発展の歴史を紹介しています。

最後のパートは、コンピュータ・プログラムによる数学的証明の実例を紹介しています。

連続セミナー「コンピュータと数学」の展開について

連続セミナー「コンピュータと数学」は、今後、次のような展開を予定しています。 ご期待ください。

当初、今回のセミナーで取り上げると予告していたGATlabについては、「AIの未来」を「コンピュータと数学」という切り口から考えようとするアプローチの背景を、もう少し丁寧に紹介してから話してみたいと思っています。急なコンテンツの変更、お詫びします。

　「コンピュータと数学 1 — TuringからVeovdskyまで」
　「コンピュータと数学 2 — Turingマシンから量子コンピュータまで」
　「コンピュータと数学 3 — GATlab」
　「コンピュータと数学 4 — Agent Based Modelの数学」

Part 1 機械は考えることができるか？

Turingが考えたこと

AIの時代を切り拓いたのは、今から1950年のTuringの論文だと思います。その画期的な論文 “Computing Machinery and Intelligence” の冒頭で、彼はこう語ります。

「機械は考える事が出来るか? (Can machines think? )」という問題を考察することを提案する。

今なら、誰かが「AIは考えることができるか？」といっても、誰も驚かないし、そうした問題提起が大きな関心を集めることもないように思います。

もちろん、「生成AIで数学の問題が解ける」と主張しても、「生成AIで数学の問題は解けない」と主張しても、それが異端視されることはありません（多分）。

ただ、この論文が出された1950年ではそうではありませんでした。彼は、「機械は考えることができる」という主張が、「異端」とみなされるだろうことをはっきりと自覚していました。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Veovodskyが考えたこと

Voevodskyは、Milner予想、Bloch-Kato予想を解くなど、代数幾何でグロタンディックが進もうとした道で、大きな業績を残した数学者です。

2002年、26歳の時、彼はこうした業績でフィールズ賞を受賞します。

2017年、彼は動脈瘤で突然亡くなります。51歳でした。

多くの数学者が、早すぎる彼の死を悼みました。
数理物理学者のJohn Baezは、こう語りました。
「彼は、カントールやグロタンディックのような天才でした。」

重要なことは、彼の仕事は、数学の基礎とコンピュータという二つの世界に関係していました。

今回のセミナーのように、「コンピュータと数学」という問題を取り上げるのなら、Veovodskyは 21世紀の最も重要な人物の一人だと僕は考えています。

彼は、数学をその基礎から改めて考えなおしたのです。そして、集合論に変わる新しい数学の基礎づけ Univalent Foundationを構築します。

さらに、彼は、数学の証明に、コンピュータを使うべきだと主張した最初の数学者となりました。それは革命的な主張です。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 「計算 = 証明 = プログラム」という認識の発展

Curry-Howard対応 –「計算 ＝ 証明 ＝ プログラム」という認識の成立

重要なことは、「Curry-Howard対応」は、型付きラムダ計算をプログラムと見なせば、”Proof as Program”としても解釈出来るということです。

「計算 ＝ 証明」であることは、すでにGoedel, Church, Turingたちがコンピュータなどない1930年代に気付き、1950年代には “Church Turing Thesis” として広く知られるようになっていました。この時期は、ちょうどコンピュータが産声をあげた時期です。

コンピュータの利用が拡大する中、1980年代に確立した「Curry-Howard対応」の、“Propositions as Types”“Proofs as Terms” ”Proof as Program”という認識は、「計算 ＝ 証明 」に加えて「計算 ＝ 証明 ＝ プログラム」という認識が成立したことを意味します。

それは、Veovodskyの「すべての数学的証明をコンピュータ・プログラムの形で記述しよう」というUniMathのビジョンに受け継がれていきます。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Dependent Type Theory — Martin-Löf

現在の「型の理論」の基本が出来上がるのは、1980年代になってからです。その中心人物は、Martin-Löfです。

現在のCoq, Agda, leanという証明支援システムは、彼のDependent Typeの理論に基礎付けられています。

Churchの単純な型を持つラムダ計算の体系は、基本的には、型A, 型Bに対して、型 A → Bで表現される関数型の型しか持ちませんでした。

それに対して、Martin-Löfは、論理的な命題にも、自然なスタイルで型を定義しました。
例えば、Aが型であり、Bが型であれば、A∧BもA→BもA∨Bも型であるというように。もちろん、それぞれは異なる型です。

Martin-Löf は、式 a = b にも型を与えます。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Homotopy Type Theory I– Dependent Type

Homotopy Type Theory (HoTT)は、数学の一分野である「ホモトピー論」と、論理学・計算機科学の一分野である「型の理論」とのあいだに、深い結びつきがあるという発見に端を発しています。

ここでいう「型の理論」は、前回のセッションで紹介したMartin-LöfのDependent Type Theory （従属型理論）です。

Martin-LöfのDependent Type Theory では、a:A に、「Aは型であり、aはその項である」という解釈を与えます。ここで型Aは、基本的には論理式に対応し、項a はその論理式の証明に対応します。（Curry-Howard対応）

VeovodskyのHomotopy Type Theory では、a:Aは、それとは全く違った解釈が与えられます。そこでは、「Aは「空間」であり、aはその空間上の「点」である」という解釈が与えられます。

Homotopy Type Theory では、Dependent Typeの項は、どのように表現されるのでしょう。
Grothendieck constructionを利用します。Dependent TypeΠ(𝑥:𝐵).𝐸(𝑥) の項s(x)  : Π(𝑥:𝐵).𝐸(𝑥)は、fiber上の「点」section として表現されます。

このセッションでは、Grothendieck constructionの丸山のたとえ話での説明がなされています。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Homotopy Type Theory II– Univalent foundations

Homotopy Type Theoryでは、空間Aの中で、点aと点bをつなぐ「道」がある時、aとbは、同じものと見なします。ただ、点aと点bをつなぐ「道」自体は、連続的に変化しうるものです。連続的に変化する「道」の「同一性」をあたえるものが、homotopyなのです。

homotopy同値による「空間」A内の「点」 a, b の「同一性」の定義は、型の理論で言えば、同じ型Aに属する項a, b の「同一性」の定義でした。ただ、従属型理論には、そもそも型𝛼と型𝛽は等しいことを主張する「同一性」の定義があります。この第二のタイプの同一性をどのように定式化すればいいのでしょう？

第一のタイプの同一性の定式化で有効だった、ある空間での点の同一性をhomotopy同値とfibrationで追求するというアプローチは、この問題ではあまり有効には見えません。なぜなら、ここでの問題の焦点は、点ではなく空間そのものの同一性にあるからです。

無限の階層を持ち、複雑に分岐した構造を持つ位相空間そのものを対象にし、それを構成する任意の空間に自明でない「同一性」あるいは「非同一性」を導入することは、不可能に思えます。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 3 コンピュータによる証明

このセクションでは、21世紀に入って急拡大したコンピュータによる数学の証明の代表的な事例を取り上げています。

「生成AI」の「華々しい成功」の影に隠れて、多くの人は気づいていないように見えるのですが、コンピュータによる知性の実現のSingularityは、この分野ですでに起きていると、僕は感じています。

連続体仮説の独立性証明

ヒルベルトは、1900年に、20世紀の数学が解くべき23の問題のリストを発表した。その問題提起は、20世紀の数学に少なくない影響を与えた。カントールの「連続体仮説」は、この23の問題の第一番目の問題に取り上げられている。

「世紀の難問」と呼ばれた連続体仮説の問題で、大きな前進があったのは、1940年のことだ。クルト・ゲーデルが、連続体仮説と選択公理の二つを満たす集合論のモデルを実際に構成して見せたのだ。この集合論のモデルの中では、連続体仮説は「真」である。

この結果は、連続体仮説を直接に証明したものではないことに注意しよう。それは、集合論と連続体仮説には矛盾がないこと、すなわち、集合論の中では連続体仮説の否定は証明できないことを意味している。

連続体仮説を最終的に解決したのは、J.P.コーエンだった。彼は、「強制法(Forcing Method)」というモデル構成法を創出し、連続体仮説の否定が成り立つモデルを構成した。

先のゲーデルの結果と合わせると、連続体仮説は、集合論の公理群からは独立であることが証明されたことになる。連続体仮説は、集合論の公理群からは証明できないのだ。

結果から見ると、カントールが、全力で連続体仮説を証明しようとして、成功しなかったのには理由があったのである。

コーエンの結果は、始祖のカントールが構想した、いわばカントール的集合論とは異なる、非カントール的集合論が存在することを明らかにした衝撃的なものだった。

ユークリッド幾何学の「第五公準」が、他のユークリッド幾何学の公理群からは独立で、それらから証明できないことの認識の成立が、非ユークリッド幾何学を成立させたのと同じことが、「数学の基礎」である集合論で起きたのである。

コーエンの結果とその方法は、1960年代の中頃には、集合論の構造についての認識を飛躍的に発展させた。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Feit–Thompson定理の形式的証明

2012年、Georges Gonthierは、Coqを用いて、群論のFeit–Thompson 定理の形式的証明に成功する。この定理は、1962-1963年にWalter Feit と John Griggs Thompson によって証明された、群論の基本的な定理の一つである。

「有限単純群の分類問題」は、Daniel Gorensteinをリーダーとする数学者の集団によって解決され、20世紀の数学の大きな成果の一つと呼ばれている。

ただ、その「証明」は、100人以上の数学者が、50年のあいだに数百の論文誌に発表した、膨大な量の「証明」の総和である。そのページ数は一万ページを超えると言われている。

Gonthierの ”Feit–Thompson theorem” の型式的証明も、膨大なものである。それは、15,000の定義、4,300の定理、17万行のソースからなる。この証明を、彼はチーム作業で、6年かけて完成させた。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

ケプラー予想の証明

「ケプラー予想」は、入れ物の箱に同じ大きさのボールを、どのくらいたくさん詰め込むことができるかという問題に関する予想です。

何も考えずに、箱の上からボールを流し込むと、充填率（詰め込んだボール全体の体積を、容器の箱の体積で割ったもの）は、平均すると 65%程度になるといいます。箱の35%は、すきまになるということです。

もっと、びっしりと、ボールを詰め込みことはできないか？ケプラーは、もっとボールを詰め込むことができる二つの方法を考えました。

1611年、ケプラーは、どんなボールの詰め方をしても、この数字を超えるほど密にボールを詰め込むことはできないだろうと予想しました。これを「ケプラー予想」といiます。ケプラー自身は、この問題に証明を与えることはできませんでした。

1900年のヒルベルトの20世紀の数学が解くべき23の問題の 18番目にこの問題は、取り上げられています。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コンピュータと数学 first appeared on MaruLabo.

7/31 マルレク「コンピュータ上のグラフ理論の進化」コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

構成の変更とコンテンツの補足について

7月のマルレクですが、次のAgendaのように構成を変更しました。

　　　　Agenda「コンピュータ上のグラフ理論の進化」

　　Part 1 はじめに – 「AIとグラフ」連続セミナーの流れ
　　Part 2　グラフとAIのSynchronicity
　　Part 3 グラフのカテゴリー論的特徴づけ　C-set
　　Part 4 物理シミレーションとグラフ

主要に、先月からの「AIとグラフ」というテーマとの関連を明確にするために、「はじめに – 「AIとグラフ」連続セミナーの流れ」を冒頭に置きました。

また、以前はInterludeとして紹介していた「物理シミレーションとグラフ」を最後に持ってきました。それに伴い、Decapodesプロジェクト紹介の補足として、今回新しいコンテンツ「単純な調和振動子をグラフで表現する」を追加しました。

AIの能力の次の飛躍の可能性

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

現在のLLMベースのAIに数学的能力を統合したいというのが僕の大きな問題意識なのですが、まだまだ考えなければいけないことがたくさんあります。二つの能力の統合には、一定の時間が必要だと思います。

ただ、言語のモデルと数学のモデルとが統合されうるのであれば、両者はある共通の特徴を持っているはずです。そうした特徴は、カテゴリー論によって与えられると考えています。

当面、グラフとAgent モデルの二つを糸口にして、そうした共通の特徴を考えることから始めていきたいと思います。

グラフとAIのSynchronicity

グラフ・ライブラリーの変化

このセクションは、現在のコンピュータのソフトウェアがグラフをどのように扱ってきたかを振り返ったものです。次の三つのセッションからなります。

　1. PyplotとNetworkX
　2. DOT言語とGraphviz
　3. AlgebraicJuliaとCatlib

重要なことは、こうした変化は、技術的な洗練にとどまらず、「グラフとは何か？」という基本的認識の理論的深化として捉えることができるということです。特に、最後に取り上げるAlgebraicJuliaのCatlibの技術的・理論的到達点は注目すべきものです。

非常に遠回りなアプローチですが、コンピュータ・サイエンスのある分野・グラフ描画の世界で起きている変化が、AI技術の未来の変化とシンクロしているのかもしれないと考えるのは、楽しいことです。

PyplotとNetworkX

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

DOT言語とGraphviz

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

AlgebraicJuliaとCatlab

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

グラフの数学的特徴づけ

Catlaboとは何か — 応用カテゴリー論のツール

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

C-Setとはなにか？

グラフをFunctorで捉える

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

CatlabでのC-setプログラミング

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

無向グラフと反射的グラフのスキーマ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

グラフの準同型とグラフの積

物理シミレーションとグラフ

単純な調和振動子の式をグラフで表す

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

7/31 マルレク「コンピュータ上のグラフ理論の進化 」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コンピュータ上のグラフ理論の進化 — AIとグラフ2 first appeared on MaruLabo.

Decoding Intentions | Center for Security and Emerging Technology

How can policymakers credibly reveal and assess intentions in the field of artificial intelligence? Policymakers can send credible signals of their intent by m…

Center for Security and Emerging Technology

2023年11月17日、サム・アルトマンはOpenAIのNPOの取締役会（ヘレン・トナー、イリヤ・スーツキーヴァー、アダム・ダンジェロ、ターシャ・マッコーリーで構成）の不信任に基づきCEOを解任されました。今回のOpenAIの「内紛」の始まりです。

今回紹介するのは、この対立の一方の当事者であるヘレン・トナーがAIについてどのような考えを持っているのかを示す論文 “Decoding Intentions — Artificial Intelligence and Costly Signals ” 「意図を読み解く — 人工知能と高くつくシグナル」の論文の全訳です。

原論文は、こちらからダウンロードできます。
https://cset.georgetown.edu/wp-content/uploads/CSET-Decoding-Intentions.pdf

この論文はヘレンを含む3名の共著で、発表の日付は2023年10月です。ヘレンはOpenAIのボードメンバーとしてこの論文に名を連ねています。

今の所は、手抜きで申し訳ないですが、コメントも解説もなしです。

今回の内紛は、ずいぶん高くついたシグナルだったと思いますが、その意図を読み解くことは重要だと思っています。まずは、お読みください。

後日、コメントと解説を追加していきたいと思っています。

Executive Summary

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Introduction

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Costly Signals and Why They Matter

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Costly Signaling Mechanisms and AI

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Costly Signals in Practice

軍事 AI と自律兵器

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

⺠主的 AI と不用意なシグナル

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

⺠間のシグナリング

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Policy Considerations and Lessons Learned

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Author & Acknowlegements

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Appendix A

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Multilateral examples of language about “democracy” or
“democratic values” and AI

Appendix B

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

Unilateral examples of language about “democracy” or “democratic
values” and AI

論文全体

（ ↑ クリックでダウンロードページ。↓ pdf viewer でスクロール出来ます）

The post Helen Tonerらの「民主的AI」論 first appeared on MaruLabo.

2023/07/29「創発について考える」

2023/06/30「プロンプトで遊ぶ– GPT-4 との対話 –」

2023/05/27 「GPT-4 Technical Report を読む」

2023/05/27 「GPT-4 System Card を読む」

「このSystem Cardは、GPTファミリーの最新LLM、GPT-4を解析する。このモデルの限界（微妙に偽りのある説得力のある文章を作成する）と能力（不正なアドバイスを巧妙に提供する、商業的だけでなく軍事的にも両面で性能を発揮しうる、非常時の危険な振る舞いなど）がもたらす安全上の課題を明らかにする。」
「私たちの緩和策やプロセスは、GPT-4の挙動を変化させ、ある種の悪用を防ぐことができるものの、その効果は限定的で、ある場合には脆いままであることを実証した。これは、先を見越しての計画とガバナンスの必要性を指摘するものである。」

2023/04/29 「ことばと意味の数学的構造」

2023/04/29 「意味の分散表現論の系譜 – 大規模言語モデルへ」

AIの世界で「意味の分散表現論」がどのように生まれ、どのように発展してきたかを、実装と理論の二つの面から、振り返ってみたいと思います。
小論は、「意味の分散表現」にフォーカスして、大規模言語モデルにいたる実装レベルでの興味深い取り組みを、コンパクトに紹介したものです。

2023/03/31「人工知能と数学」

2023/01/28「AIは意味をどのように扱っているのか？ — ChatGPT の不思議」

今回のセミナーでは、前回のセミナーでは取り上げることのできなかった、ChatGPTをはじめとする現代のAI技術が、どのように意味を扱ってきたかを、すこし歴史的に振り返って見たいと思います。

次のような三つの内容でセミナーを構成しようと思っています。

　● 意味理解への様々なアプローチ
　● 意味の分散表現の登場
　● 大規模言語モデルの成立

2023/01/14「なぜ？で考える ChatGPT の不思議」

ChatGPT試してみましたか？　なかなか驚きです。今までのAI技術と一味違います。

いろいろ不思議なことに気がつきます。
第一。なぜ、こんなになめらかに賢く、人間と対話できるのでしょうか？
第二。なぜ、こんなにも賢く見えるのに、平気で間違ったことを言うのでしょう？

今回のセミナーは、主要にこの二つの「なぜ？」に答えようとしたもの

2022/12/24「ことばと意味の「構成性」について — カテゴリー論と意味の形式的理論」

2022/03/26「コンピュータ、数学の問題を解き始める」

The post ChatGPTと大規模言語モデル関連ページ first appeared on MaruLabo.

セミナーのタイトルを、「エントロピーと創発」から「創発について考える」に変更しました。(2023/07/19)

はじめに

GPT-4との印象的な対話

この間GPT-4と「対話」を楽しんできたのですが、印象に残ったやりとりがありました。それは、GPT-4が、「記憶」や「学習した情報」を、内部ではどのように組織しているのかと尋ねたときです。

GPT-4が答えたこと

GPT-4 は次のように答えました。

「具体的な「記憶」の概念について話すと、GPT-4は単語や情報を個々に「覚えている」わけではありません。 …
「学習結果」は、モデルの全体的な構造とその重みとバイアスによって組織化されています。
これは人間が個々の事実や情報を脳に直接保存するのとは対照的で、より抽象的な表現を生成します。」

多分、GPT-4は人間のこと誤解している

これは面白い答えです。なぜなら、GPT-4は、人間のことを誤解しているからです。

我々人間は、「事実や情報を脳に直接保存」しているわけではありません。そういうスタイルで情報の記憶をしているのは、コンピュータのメモリーやデータベースであって、人間ではそうではありません。

人間がしていること

我々人間が、脳の内部で「記憶」や「学習した情報」を、どのように組織しているのかをGPT-4に答えるとすると、次のようになると思います。

「人間の脳内の最下層の「記憶」のメカニズムについて話すと、人間は単語や情報を個々に「覚えている」わけではありません。 …
「学習結果」は、脳のニューロンの全体的な構造とそのシナプスの重みとバイアスによって組織化されています。
我々人間は、コンピュータのメモリーやデータベースのように、個々の事実や情報を脳に直接保存しているわけではありません。
それから、より抽象的な表現が生成されます。 」

GPT-4と人間は、これらの点では、とてもよく似ている

GPT-4と人間の両者は、これらの点では、とてもよく似ています。

GPT-4のベースとなっているディープラーニングのニューラル・ネットワークのモデルが、もともとは人間を含めた生物のニューラル・ネットワークをモデルにしていることを考えれば、両者の類似は不思議なことではないかもしれません。

ただ、両者の間には、最下層のニューラル・ネットワークのレベルでの類似を超えた類似があるように見えます。両者ともに、「記憶」や「学習」や「知能」といった高次元の構造が、最下層の構造のうえに存在するように見えると言うことです。

「創発」とは何か？

このように、低次元の構造の上に、まったく新しい働きをもつ高次元の構造が生まれることを「創発」と言います。

「創発」の奇妙な性質

「創発」という現象は、奇妙な性質を持っています。

第一に、低次元の構造（例えば、ニューロンのネットワーク構造）だけに注目すると、高次元の構造（例えば、「記憶」「学習」「知能」といった）は、目に入らずに隠れてしまいます。あるいは、そうした高次元の構造は、謎めいた説明のつかないものに見えます。

第二に、今度は、高次元の構造に注目してみましょう。こうした高次元の構造は、それを生み出した低次元の構造と強く結びついていて、そのただなかから出現しているのは明らかです。それにもかかわらず、高次元の構造を低次元の構造に「単純に還元」することができないのです。

今回のセミナーについて

今回のセミナーは、この「創発」がテーマです。

冒頭のGPT-4との対話の例は、我々は、我々人間が作った構造の上で、初めて新しい構造が「創発」されていることを目撃しているのかもしれないという問題意識によるものです。

ただ、今回のセミナーは、直接、この疑問に応えることを目的としたものではありません。

なぜなら、「創発」という現象については、20世紀に活躍した科学者たちが、既に多くのことを語っているからです。

それらは、意外に思えるかもしれませんが、「エントロピー論」と深く結びついています。

今回のセミナーは、そうした議論を紹介することを主な目的に設定しようと考えています。

セミナーの構成について

次回の投稿で、セミナーの構成については、少し詳しく説明したいと思っているのですが、今のところ、次のような構成を考えています。ご期待ください。

　Part 1: プリゴジンが考えたこと — 非平衡熱力学と散逸構造
　Part 2 : ジェインズが考えたこと — 最大エントロピー原理とベイズ推論
　Part 3 : フリストンが考えたこと — 最小自由エネルギー原理と脳のモデル

セミナーに向けたショートムービー再生リスト

はじめに

「創発について考える」へのお誘い

( 資料 pdf blog:「「エントロピーと創発」へのお誘い 」)

「エントロピーと創発」セミナーの構成プラン

( 資料 pdf 　blog:「「エントロピーと創発」セミナー構成プラン 」)

Part 1 : プリゴジンが考えたこと — 非平衡熱力学と散逸構造論 入門

古典的熱力学から非平衡熱力学へ

( 資料 pdf 　blog:「古典的熱力学から非平衡熱力学へ 」)

エントロピーの生成

( 資料 pdf 　blog:「エントロピーの生成 」)

「局所平衡仮説」の導入と不可逆過程の熱力学の基本式

( 資料 pdf 　blog:「 Lyapunov関数と系の安定性 」)

不可逆過程の線形熱力学の二つの基本定理と「散逸構造」

( 資料 pdf 　blog:「お味噌汁と「散逸構造」」)

機械と散逸構造の違い

( 資料 pdf 　blog:「コンピュータ上では「創発」は起きそうもないこと」)

Part 2 : ジェインズが考えたこと — 最大エントロピー原理とベイズ推論 入門

推計から推論へ

( 資料 pdf 　blog:「推計から推論へ 」)

Gibbsの方法とMAXENT

( 資料 pdf 　blog:「 Gibbsの方法の不思議なパワー 」)

「統計的推論」の新しい見方

( 資料 pdf 　blog:「 「統計的推論」の新しい見方 」)

相対エントロピーとベイズ推論

( 資料 pdf 　blog:「 Jaynesは、どのように Bayes に接近したのか 」)

Part 3 : フリストンが考えたこと — 最小自由エネルギー原理と脳のモデル 入門

脳研究の動向

( 資料 pdf 　blog:「 10年前の脳研究の失敗を振り返る」)

自由エネルギーと脳

( 資料 pdf 　blog:「 自由エネルギーと脳」)

拡大された「推論」概念

( 資料 pdf 　blog:「 拡大された「推論」概念」)

こころの時間の数学

( 資料 pdf 　blog:「 こころの時間の数学」)

おわりに — 今後の展望について

( 資料 pdf 　blog:「 おわりに — 今後の展望について」)

参考資料

「ChatGPTと大規模言語モデル」関連ページ

「エントロピー」関連ページ

The post 創発について考える first appeared on MaruLabo.

講演資料と講演ビデオ

資料は、カーソルを合わせるとスクロールできます。
「はじめに … 」「Part 1 … 」などのタイトル部分をクリックすれば、動画に移動します。

はじめに — 対話を通じて分かったこと、問題意識と方法

Part 1　 文を生成する力 — 連想と連想の鎖、意味のない文と曖昧な文

Part 2　 意味と構成性 — 語の意味、フレーズ・文の構成とその意味、構成性に基づく推論

Part 3 　ことばを生成する能力と人間 — 生成する力、ディドロのオウム、ことばの力、翻訳能力

セミナーに向けた blog

• GPT-4は連想する力を持つ
• GPT-4は、まだ、日本語が苦手かもしれない
• GPT-4は「語の意味」についてどのような情報を持っているか？
• 大規模言語モデルには「文法」や「品詞」の概念はないらしいこと
• 「黒い猫」問題
• GPT 大いに語ったり、語らなかったりする
• Turing Test
• ことばの力
• 翻訳能力のブレイクスルーとしての大規模言語モデル

セミナーに向けたショートムービー

マルレク「プロンプトで遊ぶ — GPT-4 との対話 」へのお誘い

( 資料 pdf 　blog )

連想と連想の鎖

GPT-4の言語能力として、最初に紹介したいのは、それが「連想」する力を持つことです。

次のようなプロンプトをGPT-4に投げます。

「「暗い空の下高い丘の上の一人の少女」という文章から連想できる文章を作ってみてください」

次が、GPT-4の答えです。見事なものだと思います。

　”少女は星空を見上げて、心に願い事をした。”
　”彼女は高い丘の上から町の灯りを眺めていた。”
　”少女は深夜の風に髪をなびかせながら立っていた。”
　”彼女は静寂の中で自分の思考に耳を傾けていた。”
　”少女は丘の上から、遠くに鳴る教会の鐘の音を聞いた。”

ここでは、それを文・フレーズ・語を生成する言語能力として扱っているのですが、一般化すれば、GPT-4は、新しい表現を創造する能力を持っていると考えていいと僕は思っています。

（本当でしょうか？　セミナーではこの問題を考えてみたいと思います。）

( 資料 pdf 　blog :「GPT-4は連想する力を持つ」)

意味のない文と曖昧な文

今度は、連想ではなく GPT-4に「文法的には正しいが意味のない文」を直接に生成させてみました。結果は少し、微妙なものでした。GPT-4には、「意味的に矛盾していること」を「実際には存在しないこと」と同義に捉える傾向があるようです。

「意味がない」ことをきちんと考える必要があるようです。大規模言語モデルに意味のない文を作れというのは、愚問だったかもしれません。

こんどは、文の文法的構造から、曖昧な意味を持つ文の生成をやってみました。英語では、その説明も含めて、完璧に答えているのが印象的でした。

「 “I saw a man with a telescope.”という文は確かに2つの異なる解釈が可能です。私が望遠鏡を使って男性を見た（つまり、私が望遠鏡を持っていて、その望遠鏡を使って男性を観察した）。
私が望遠鏡を持つ男性を見た（つまり、男性が望遠鏡を持っていて、私はその男性を見た）。

ただ、日本語での曖昧な文の生成は完全に失敗しました。失敗の理由は、明らかでした。GPT-4は、英語で意味の曖昧な文を日本語に翻訳すると、その日本語の文も曖昧な文になると考えているのです。まず、英語で考えているんですね。GTP-4の母語は英語なのかもしれません。

( 資料 pdf 　blog :「GPT-4は、まだ、日本語が苦手かもしれない」)

語の意味

GPT-4が「語の意味」についてどのような情報を持っているかを探るため、ある語を与えるとその語の「辞書項目」を出力するプロンプトを作ってみました、

「歩く」を与えると、こんな出力を返します。

　【「歩く」の意味 】:
　動詞1: 両足を交互に前に進めて移動する。(例:彼は公園を歩いた。)
　動詞2: 一定の目的や方向に進む。(例:彼は成功へと歩いている。)

　【「歩く」のSemantic Category 】:
　[同義語] 歩行する; 徒歩で行く; 徘徊する; 散歩する; 闊歩する; 行進する; 練り歩く; 遊歩する; 步く; うろつく
　[類義語] 走る; ジョギングする; 進む; 旅する; 移動する; 歩みを進める; 旅行する; 遊ぶ; 散策する; 探検する
　[上位概念] 移動 ＜ 行動 ＜ 生物の活動 ＜ 生物
　[下位概念] 歩く ＞ 超高層ビルを歩く ＞ 空中を歩く ＞ ワイヤーを歩く

　【「歩く」のLexical Category 】:
　[近接語] 道; 公園; 散歩; ペース; 歩幅; 速度; 歩数; 遠く; 距離; 目的地; 環境; 風景; エリア; 足元; 自然
　[直前語] ゆっくりと; 速く; 楽しく; 遠くまで; 道を; 一緒に; 独りで; 公園を; 自然を; 環境を
　[直後語] を開始する; を終える; を続ける; と感じる; のスピード; の距離; のペース; で移動する; で旅行する; で探検する

この「辞書項目」の選択には、モデルがあります。プリンストンが公開しているWordNetという英語の大規模な語彙データベースです。最近はご無沙汰していたのですが、以前、このデータベースに憧れていました。今回作成したプロンプトの「上位概念」はWordNetのhypernymを、「下位概念」はWordNetのhyponymをパクったものです。

( 資料 pdf 　blog :「GPT-4は「語の意味」についてどのような情報を持っているか？」)

フレーズ・文の構成とその意味

前回、与えられた語の「辞書項目」を作成するプロンプトを作ってみて、GPT-4が「語の意味」について、いかに膨大な情報を保持しているのか、その一端を見ることができたと思います。ただ、それは学習したGPT-4がシステム全体として発揮する能力です。

大規模言語モデルの「語の意味表現」の基本は、語の分散表現 – エンべディングと呼ばれるベクトル表現です。ここでは、まず、基本的な語またはフレーズの意味の分散表現について、GPT-4に色々聞いてみました。

例えば、「日本語の「犬」と英語の「dog」は同じ意味ですが、その分散表現は同じものになりますか？」とか「語だけじゃなく、フレーズや文も分散表現を持ちますか？」とか「語と文の分散表現のベクトルの次元は同じですか？」とか「「黒い犬」と「black dog」というフレーズの分散表現は同じものになりますか？」等々。GPT-4は、対話に丁寧に答えてくれました。

今回のセッションには、もう一つのテーマがあります。それは、文法の問題です。

今回紹介したいくつかのサンプルは、確かにGPT-4には与えられたフレーズを品詞に分解して、文法的に正しいのかそうでないのか、ちゃんと判断する能力があるように見えます。ただ、つっこんでGPT-4に聞くと、「品詞」や「文法」について、意外な答えが返ってきます。

「AIは〜ができるように見える」ことと「AIは、実際に〜ができる」こととは違うことがあります。冒頭に述べた「連想する力」についても、僕が錯覚しているだけなのかもしれません。

無害な「錯覚」もありうるのですが、こうした「錯覚」が、Aiの能力評価の上でどういう意味を持つ、別の機会に考えてみたいと思います

( 資料 pdf 　blog :「大規模言語モデルには「文法」や「品詞」の概念はないらしいこと」)

構成性に基づく推論

諸氏百家の時代の論客公孫竜は、「白い馬は馬ではない」という議論を展開したそうです。「白い馬」という概念は、「馬」という概念とは違うものだということなのですが、やはり、典型的な「詭弁」ですね。どう考えても、「白い馬」は「馬」です。

前回のセッションで、「黒い猫」というフレーズを使ったので、こういう質問をGPT-4に投げてみました。

　「GPTでは「黒い猫は猫」であるという推論はできますか？」

GPT-4の答えは、こういうものでした。

「GPTは事前に学習した大量のテキストデータからパターンを学び取りますが、その基本的な設計では、厳密な意味での推論や論理的な帰結は直接的には行いません。しかし、訓練データに存在するパターンに基づいて、「黒い猫」が「猫」であるという事実を理解し、その情報に基づいた文を生成することはできます。
….. ただし、このような知識は、言語モデルが訓練データから学び取った統計的なパターンに過ぎず、モデルが「黒い猫」が「猫」であるという推論を自身の内部的な「理解」から生成しているわけではありません。」

こうした大規模言語モデルの推論能力の弱点を、「黒い猫」問題と呼ぶことにしましょう。こうした弱点は、モデルの規模をさらに拡大すれば、解消されると考えている人も少なくないと思います。でも、そうじゃないんです。

( 資料 pdf 　blog :「「黒い猫」問題」)

生成

今回のセッションのテーマは、生成系AIの「生成する能力」についてです。

今回のセミナーの「お誘い」でも述べたのですが、僕が一番驚いたのは、GPTが「自由に連想する能力」を持っているように見えることです。

本当でしょうか？　それはAIの世界ではよくあるように、「そのような能力があるように見えるが、実はそれは幻想である。」ということかもしれません。

だって、前回見たように、「黒い猫は、どう考えても（そんなデータを学習しようがしまいが）猫である。」という自明な推論能力も持たないのに、もっと高度に思える、ある文から他の文を導く「自由連想」などできるわけがないと。

ただ、これには少し誤解が入っています。「自由」な連想は、自由であればあるほど、論理的な推論より簡単なものになります。だって、自由な連想として、ランダムに選ばれた出鱈目な文を選ぶこともできるからです。

次のような質問をGPT-4にしてみました。

「ある文から他の文を連想する時、あなたはどんな手順で連想を実行しているのですか？　詳しく教えてください。」

そうすると、GPT-4は大いに語り始めます。

( 資料 pdf 　blog :「GPT 大いに語ったり、語らなかったりする」)

ディドローのオウム

ディドローは、「どんな質問にもすぐに答えるオウムがいれば、我々は躊躇なく、そのオウムは知性を持っていると考えるだろう」と言ったそうです。デカルトやディドローが、今日のChatGPTを見たらなんというか、想像してみると楽しいです。

　「私は、『機械は考える事が出来るか？』という問題を考察することを提案する。」

1950年、チューリングは、先の一節ではじまる「計算機械と知能」と題する、「現代の人工知能」研究の第一ぺージをしるす、興味深い論文を雑誌「マインド」に寄稿します。この論文の中で彼は、後に「チューリング・テスト」と呼ぱれる事になる機械が知能を持つか否かの判定基準を提案します。

それは、簡単にいえぱ、もし我々が、直接には相手が誰だかわからないかたちで — たとえぱテレタィプを通じて機械と会話するかぎり、会話の相手が機械であるのか、人間であるのか判断がつかないなら、その機械は知能を持つと言えるというものでした。

Turingは、その論文の中で、Turing Testでの対話の例として、四つの問題を例示しています。一問目は「それ、僕には無理」と機械がパスしたので、正確には三問なのですが。「プロンプトで遊ぶ」というセミナーを予定しているので、Turingの四つの問題を、そのまま GPT-4に質問してみました。

なんとというか予想通りというか、GPT-4はこのオリジナルのTuringテストをいとも簡単にクリアできることを実際に確かめました。素晴らしい！　こまかいやりとりに興味ある方は、ビデオあるいはpdf資料を参照ください。

( 資料 pdf 　blog :「Turing Test」)

ことばの力

「ことば」は不思議な力を持っています。

それは、日々の日常の仕事や生活の中でのコミュニケーションの手段であるとともに、我々の考えや感情や意志を表現する上で不可欠の手段です。文字の形を獲得したことばは、歴史的に形成・蓄積された我々の世界や民族や信仰についての認識をしっかりと次の世代に伝える記憶装置としての役割を果たしてきました。

ことばは、また、論理的な思考の母胎でもあります。「黒い猫」と言うフレーズは、「黒い猫は猫である」ことを含意します。ことばの力が内包する論理性と文字の発明がなかったら、数学は生まれてこなかったでしょう。ことばとのアナロジーなしでは、「自然は数学ということばで書かれている」というガリレオの認識も生まれてこなかったはずです。

我々人間が、社会的な集団を形成し、宗教や芸術を作りあげ、科学・技術を発展させてきた営為の基礎に、人間に与えられたことばの力があることは明確です。「賢い人=ホモサピエンス」にとって、ことばは彼が持つ最強かつ万能の道具なののです。

( 資料 pdf 　blog :「ことばの力」)

6/30 マルレクへのお誘い 2

( 資料 pdf 　blog :「6/30 マルレクへのお誘い 2」)

翻訳能力

( 資料 pdf 　blog :「翻訳能力のブレイクスルーとしての大規模言語モデル」)

参考資料

「ChatGPTと大規模言語モデル」関連ページ

「言語理論」関連ページ

The post GPT-4 との対話 — プロンプトで遊ぶ — first appeared on MaruLabo.