Deep Dive Audio

マルレク「LLMと意味の理論モデル概説」の音声概要をまとめたページです。

LLMは意味をどう捉えるか？

この音声概要は、セミナー終了後に作成したものです。セミナー全体のまとめになっています。
個別的・技術的細部に入る前に、こちらからお聞きになることをお勧めします。

こちらから、直接アクセスできます。

LLMの謎にカテゴリー論で迫る

この概要では、今度の連続セミナーで中心的に取り上げることになる、Bradleyらの問題意識とカテゴリー論を利用した取り組みを主に紹介しています。

彼女の近年の研究の成果である「マグニチュード」論がどのようなものか、どのような役割が期待されているのかについて、わかりやすい解説になっています。

LLMのテキスト・データに隠された構造を探る

この概要も、Bradleyの問題意識の要約になっています。重複はありますが、重要なことなので、色々な切り口で語られるのはいいかなと思います。

米田の補題の解釈が少し詳しく語られています。また、、LLMに与えられるテキスト・データ自身に構造が内在しているという視点は大事なポイントだと思います。

自然言語理解と量子論

この概要では、BradleyとCoeckeの二人のアプローチの違いを概説しています。Bradlyらは、実際のテキスト・データの中に統計的な構造が隠されていると考えるのに対して、Coeckeらは文法構造が先在すると考えます。

両者のアプローチは対照的ですが、両者の統合の可能性も示唆されています。

進むLLMの内部構造の理解

LLMの内部の動作を解析したVlassopoulosらの研究が、現在のLLMと意味の理論研究とどう交わる可能性を持つかを概説しています。

QNLPの最新動向

このトラックでは、Coeckeらのグループの論文 “Scalable and interpretable quantum natural language processing: an implementation on trapped ions” https://arxiv.org/pdf/2409.08777 を紹介しています。

現在の量子コンピュータのスケーラビリティの弱点とTransformaer モデルの解釈可能性の弱点（いわゆる「ブラックボックス問題」）という両方の問題を解決しうるアイデアが提示されています。

The post Deep Dive Audio 20250816 first appeared on MaruLabo.

公開したセミナー

講演資料

パートごとのドキュメントへのアクセスは、「公開詳細情報」をご利用ください。

講演ビデオ

↑ 見出しクリックで、セミナー全体のYouTube動画の再生リストにアクセスできます。

Deep Dive Audio 20250816

↑ 見出しクリックで、AIによるセミナーのコンテンツの音声概要を聞くことができます。
セミナー全体の音声概要「LLMは意味をどう捉えるか？」は、こちらからもアクセスできます。

公開詳細情報

↑ 見出しクリックでセミナーの公開詳細情報にアクセスできます。

AIによる調査レポート「意味論における数学的ルネサンス」

マルレク「LLMと意味の理論モデル概説」に対するAI(Gemini)による調査レポート「意味論における数学的ルネサンス：大規模言語モデルの新たな理論的枠組みに関する分析」です。セミナーの講演資料だいぶ長いのですが、この要約は正確だと思います。セミナーの概要を知るのにご利用ください。

LLMと意味の理論モデル概説

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

はじめに

LLMの言語の意味理解能力の獲得と驚異的な言語運用能力の実現という現実の進行を目の当たりにして、それを説明しようとする問題意識と理論が次々に生まれています。

MaruLaboでは、この夏以降しばらくの間、「LLMの理論モデルの新しい展開」という共通テーマで、複数のセミナーを連続して開催しようと思っています。

今回のセミナーは、今後予定している一連の「LLMの理論モデルの新しい展開」セミナーの全体の概要を紹介するものです。

Transformer意味論の問題

現在主流のTransformer意味論には、次のような問題があることが指摘されています。

1. 説明可能性の欠如=ブラックボックスとしてのLLM
   Transformerは、その驚異的な性能にもかかわらず、学習された表現の内部の論理を解読することが極めて困難です。
2. 意味の構成性と文脈依存性をめぐって　
   アテンションの重みは情報の混合比を決定するのですが、その合成を支配する明示的で厳密な文法的・論理的構造は存在しません。それは構造化された導出ではなく、重み付け和に過ぎないものです。
3. 学習データの巨大化と力まかせの処理
   Transformerアーキテクチャは、その成功のために膨大な量のデータと計算リソースを必要としています。その性能は、モデルとデータの規模に大きく依存しています。それは、LLMが学習に利用する言語データが、「何の構造も持たない」と前提しているからです。

先行した二つの研究とカテゴリー論の利用

LLMと意味の理解の問題に切り込んだ先駆的な研究が二つあります。

一つは、Tai-Danae Bradleyらの「米田埋め込み」にインスパイアされた enriched co-presheaf 意味論で、もう一つは、Bob Coeckeらの「言語はそもそも量子論的だ」というQNLPです。

BradleyとCoeckeのアプローチでには大きな違いもあるのですが、言語と意味の理解についてその「構成性」が重要であるという認識では、両者は一致しています。

両者は、何の構造も持たないように見える言語データ自身に、すでに構造が先在的に内在していると考えます。こうした構造を、「構造的プライア（structural prior）」と呼びます。

こうした、Bradley とCoeckeのアプローチは先に見た現在主流のTrnsformer意味論への共通の批判的立場を提供するものです。

両者はまた、カテゴリー論（圏論）を主要な数学的なツールとして用いています。これも大きな特徴です。

Bradleyのenriched cayegiryの利用、Coeckeのcompact closed category の利用は、特徴的なものです。また、両者は文法的=構文論的なカテゴリーから意味のカテゴリーの導出に、二つのカテゴリーの構造を保存する functor(関手)を利用します。

こうしたカテゴリー論的フレームワークは、次の節で見るLLMと意味の理論をめぐる現在進行中の様々な取り組みに大きな影響を与えています。

LLMと意味の理論モデルの新しい展開

こうした先駆的な研究を受けて、現在、活発に研究されているLLMと意味の理論では、僕は次の三つの流れに注目しています。今回の連続セミナーで取り上げようと思っているのは、こうした流れです。

ここでは、こうした流れの特徴を簡単に紹介しようと思います。あわせて、それらを代表する論文を上げておこうと思います。

1. Bradleyらの意味の距離空間モデルとMagnitude概念の導入
   
   Bradleyは、現在のLLMの働きを反映しているテキストの確率論的モデルに、再び enriched categoryの手法を適用して、新しいMagnitude概念をベースとした意味の距離空間モデルを構築し、そこが意味解釈の舞台として望ましい性質を持っていることを示しました。
   
   ・The Magnitude of Categories of Texts Enriched by Language Models
   
2. Coeckeらの量子コンピュータ上でのQNLP実装の進展
   
   Coeckeらは、限られた実験環境のもとでも、着実に量子コンピュータ上での自然言語処理の実装を進めています。特に近年のsurface codeを中心とする量子コンピュータ実装技術の発展は、大きな追い風になっています。
   
   ・Scalable and interpretable quantum natural language processing: an implementation on trapped ions
   
3. VlassopoulosらのLLMの内部動作の解析
   
   上の二つの流れとは、少し異なる取り組みです。LLMに外部から入力として与えられている学習データやLLMの外部への出力の特徴を分析するのではなく、現在のLLMの内部の振る舞いを具体的に数学的に解析しようとしたものです。驚くべきことに、その解析結果は、Bradleyらの意味モデルを支持するものになっています。
   
   ・Directed Metric Structures arising in Large Language Models

新しいモデルの数学的ツール

この注目すべき三つの流れは、それぞれ異なる数学的なツールを中心的に利用しています。その概略を紹介します。

• 第一のBradleyらのグループの理論展開では、magnitude論、magnitude homology論の利用が目を惹きます。magnitude論を用いて「意味の近さ」だけでなく「意味の形」「意味の空間の幾何学（例えば、「意味空間の穴」）」が縦横に語られます。
  
  magnitude論は、エントロピー論と深い関係を持っているのですが、Bradleyの論文は、基本的には言語理論の論文なのですが、統計力学の分配関数に遡って、シャノン・エントロピーとmagnitudeとの関係が論じられています。
  
• 第二のCoeckeらのグループの研究が利用する数学的ツールで興味深いのは、CoeckeがQNLPとは独立に（おそらく）量子力学のツールとして展開してきた string diagramを利用するZX-calculusの技術が、ぴたりと彼のQNLPの理論と実験の中に組み込まれようとしていることです。
  
  ZX−calculusは、現在の量子コンピュータ技術の革新の中心であるsurface codeの基礎理論として、熱い期待を集めている技術です。
  
• 第三のVslassopoulosらの用いる数学的ツールは、少しなじみがないものかもしれません。それは、Tropical代数と言われるツールです。
  
  Tropical代数については、マルレクで取り上げたことがあります。次の資料を参照ください。
  
  ・ニューラル・ネットワークの数理 −− Tropical代数入門

今回のセミナーの目的

こうしたトピックを取り上げて、今後の「LLMの理論モデルの新しい展開」を共通のテーマとする連続セミナーの概要を明らかにすることが目的です。

セミナーに向けたセッション資料

Transformer意味論の問題とLLMの理論モデルの新しい展開

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの理論モデルの新しい展開については、次の音声概要をご利用ください

新しい展開の理論的背景を探る −− 二つの先行研究

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

大規模言語モデル登場の衝撃とBradleyの理論の発展

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyのcopresheaf意味論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Appendix B: Bradley論文リスト

arXivに投稿したBradleyの論文リストです。Abstractが読めます。
こちらのblogの方が読みやすいかもしれません。
https://maruyama097.blogspot.com/2025/08/taidanae-bradley-biblio.html

The post LLMと意味の理論モデル概説 first appeared on MaruLabo.

Part 1 Surface code Measure qubit

Data qubit と Measure qubit

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Z-Measure qubit の働きと パリティ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

X-Measure qubit

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

CNOTとアダマールで遊ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Z-Measure qubit と X-Measure qubit

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 Logical qubit と Logical operator

Two-level quantum system

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Logical qubit と Logical operator

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Quiescent state

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

「Surface code と Stabilizer 2」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Surface code Logical qubit

Logical qubit ( d = 5 )の定義を見る

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post Surface code と Stabilizer 2 first appeared on MaruLabo.

マルレク・コラムの音声による概要紹介を始めました

マルレクのコラム「現在・過去・未来」の音声による概要紹介を始めました。

「ショート・ムービー」と言いながら30分を超えて誰もみてくれなかったり、「リール動画」は話の最初の数十秒で切れて何も伝わらなかったり。マルレクのたびに、その概要を伝えるのに苦労していました。

AIが生成した、音声による概要のまとめは違います。
充分短いですが、ちゃんと完結したストーリーで概要を語ってくれます。素晴らしい！

不思議な数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

ラマヌジャンのMoonshine

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

1 + 196883 = 196884

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

145億年間、宇宙を旅した光子の物語

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

新しい数学と新しい物理学

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Turingの「機械は考えることができるか？」論文から、今年は75周年にあたります

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コラム「現在・過去・未来」 first appeared on MaruLabo.

セミナー公開情報とお詫び

このセミナーのまとめページとセミナー受講者に送った pdfのURLのリンクが、いつからか切れていました。今回、pdfのリンクを新しいものに貼り直しました。ご迷惑をおかけしました。気がつくのが遅くてすみませんでした。

セミナー公開情報

セミナーの講演ビデオ全体のの再生リストは、こちらです。

セミナーの講演資料を一つにまとめたpdfファイルは、こちらです。

セミナーに向けたショートムービーの再生リストは、こちらです。

より詳細なPartごとの公開情報は、こちらからアクセスできます。

マルレク「Surface code とStabilizer」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 1　量子回路の基礎

量子ゲート X,Z,H

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

ゲートから量子回路を構成する

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

エンタングルメントと量子回路

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

二つのqubitを観測する量子回路

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2　Stabilizer code

エラー訂正技術の歴史から学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Hamming code

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

古典コードから量子コードへ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Stabilizer Formalism

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

関連ページ

量子エラー訂正技術の動向

The post Surface code と Stabilizer first appeared on MaruLabo.

量子エラー訂正技術の前進

生成AIのニュースの影に隠れてあまり目立たなかったかもしれませんが、2023年、2024年と、量子コンピュータの量子エラー訂正技術の分野で大きな前進がありました。

一般誌でも、取り上げられた、代表的なものを二つ紹介します。

一つは、2023年のGoogleの量子エラー訂正にsurface codeの手法を導入した、Nature誌への投稿論文で、量子エラー訂正技術のマイルストーンを超えたと評されました。

もう一つは、2024年のMicrosoftとQuantinuumの論文で、論理qubitのエラーを物理qubitのエラーの800分の1にしたとして注目を集めました。

NISQの時代から、ノイズ耐性を持つResilientコンピューティングの時代へ

こうした量子エラー訂正技術の大きな前進は、かつて（2017年に） Preskill が、量子コンピューティングの現状を、「NISQ　(Noisy Intermediate-Scale Quantum)の時代」と特徴づけた時代から、次の時代、すなわち、ノイズ耐性を持つResilient量子コンピューティングの時代にさし掛かりつつあると考えることができることを意味します。

ここでは、我々がどのような時代にいるのかを確認するために、あらためて、Preskillのいう「NISQの時代」の意味を振り返っておこうと思います。

Preskillの「NISQ時代」論

「フォールト・トレラントな量子コンピュータは、今では、まだ遠い夢だとしても、現在、我々は、量子技術における重要な新時代に入ろうとしている。この差し迫った新しい時代を表現するために名前が必要なので、私はNISQという言葉を作った。これは、Noisy Intermediate-Scale Quantumの略である。」

「ここで「Intermediate-Scale 」とは、数年後に利用可能となる、量子ビット数が50から数百程度までの量子コンピュータのサイズを指す。50qubitは、重要なマイルストーンである。それは、最も強力な既存のデジタル・スーパーコンピュータを使用して力づくでシミュレートできるものを超えているからである。」

「「Noisy」とは、我々がそれらのqubitを不完全にしかコントロールできないことを強調している。ノイズは、当面の量子デバイスが達成できることに、重大な制限を課すだろう。」

「物理学者はこのNISQ技術に興奮している。というのも、それが、多数のもつれた粒子の物理学を探求する新しいツールを我々に提供しているからである。この講演の聴衆（ビジネス・コミュニティ）に関心を持つような有用な応用があるかもしれないが、それについては、確かなことは分からない。」

「我々は、NISQそれ自体を、世界を変えるものだと期待すべきではない。そうではなく、それは、将来において開発されるより強力な量子技術への一歩と見なされるべきである。」

「私は、最終的には、量子コンピュータが、社会を変えるような影響を与えると考えているのだが、それにはまだ数十年かかるかもしれない。どれくらいの時間がかかるか、確かなことはわからない。」

セミナーの目標

今回のセミナーでは、NISQを超えた新しい量子技術の時代を切り開きつつある量子エラー訂正技術の現状を紹介することにフォーカスしようと思います。

量子コンピューティングの未来展望と現実的な課題への応用の可能性については、以前のマルレク「量子コンピューティングの現状と課題」 https://www.marulabo.net/docs/20180622-marulec/ を参照ください。資料が、次からダウンロードできます。
https://drive.google.com/file/d/1C8B56SW8rYMztcnZRK3G_oAoh4md85rN/view　

参考資料

セミナーでは、次の二つの論文への流れを紹介できればと思っています。

“Quantum error correction below the surface code threshold” (2024/08/24)　https://arxiv.org/html/2408.13687v1

“Demonstration of logical qubits and repeated error correction with better-than-physical error rates”(2024/11/17) https://arxiv.org/pdf/2404.02280

参考ビデオ

“Introduction to surface codes” , Alexsei Kitaev
https://youtu.be/M25fBmF9XR0

“Exmentalist View of Surface Code” , John Martines
https://youtu.be/ed9CfJLto1I

“Microsoft and Quantinuum demonstrate the most reliable logical qubits on record”
https://www.youtube.com/watch?v=He4GQiiDyGg

セミナー予告「量子エラー訂正技術の動向」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「量子エラー訂正技術の動向」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 1 量子エラー訂正技術の基礎

ハードウェアの構成

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

qubitの状態の表現

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

qubitの状態の変化

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

qubitの状態の観測

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 Shor codeとStabilizer

Stabilizerとは何か？

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Shor code (1) −− Shorが考えたこと

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

観測と射影演算子

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Syndrome Measurement −− Bit flipの検出

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

もう一つのBit flipの観測演算子

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Phase flipの検出

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

bit flipとphase flip の検出まとめ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

関連ページ

Surface code と Stabilizer

The post 量子エラー訂正技術の動向 first appeared on MaruLabo.

9/28 マルレク「計算複雑性理論入門」　コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

はじめに

セミナータイトルを、「コンピュータと数学 2」から「計算複雑性理論入門」に変更しました。

今回のセミナーは、前回のセミナーと基本的な議論は連続しています。

それは、コンピュータとAI技術の次の未来を展望するうえで、人間の二つの基本的能力である「言語能力」と「数学的能力」の「統合」の課題が重要だという議論です。

そうした立場から、前回のセミナー「コンピュータと数学 — TuringからVoevodskyまで」では、コンピュータにはそもそも「数学的能力」が備わっているのではという問題意識を述べてきました。

そこでは、コンピュータの持つ数学的能力の(再)発見の突破口となった「計算 ＝ 証明 = プログラミング」という認識の成立の場所である「型の理論」を取り上げ、実際にコンピュータによる証明の例を紹介しててきました。

今回のセミナー「計算複雑性理論入門 — Turingマシンから量子コンピュータまで」では、こうした論点をさらに深める上で、計算科学の代表的な数学理論である「計算複雑性理論」に注目しようと思います。

Gödelの「不完全性定理」と「計算可能性理論」

少し歴史を遡ってみましょう。

現実にコンピュータが登場するはるか以前の1930年代に、Gödelの「不完全性定理」の強い衝撃の中で、「数学的に計算できるものとは何か？」という問いの中から、Gödel – Church – Turing らによって、「計算可能性理論」が生まれました。

「計算可能性理論」は、計算可能なものと計算不可能なものとを区別する基準を数学的に定義することに成功します。それは、ゲーデルの「不完全性定理」の背後にある構造の理解を可能とする「計算不可能性理論」と言ってもいいものです。

そのエッセンスは、「計算可能な計算はすべて、ある帰納的チューリングマシンによって実行される」という「チャーチ=チューリングのテーゼ」です。

彼らが切り開いたのは、数学的能力をはじめとして人間の知性と認識能力自身の限界を数学的分析の対象とするという、これまでの数学にはなかった新しい探究の道でした。彼らが始めた「計算可能性理論」が「計算複雑性理論」の第一世代だと考えていいと思います。

計算複雑性理論の登場

ただ、それで計算可能なものの境界が明確になったかというと、必ずしもそうではありませんでした。「計算可能性理論」では理論的には「計算可能」とされる計算でも、実際には計算できそうもないものがあることは、数学的には知られていました。

1950年代にはコンピュータが登場します。1960年代に入ってその利用は飛躍的に拡大を始めます。そうした背景の中で、1970年代になって、「計算複雑性理論」が登場します。

それは、先に述べた「理論的には計算可能だが、現実には手に負えない」領域も視野に入れて、計算可能なものの世界の内部により実際的でより現実的な分類、簡単に計算可能な問題から計算が難しい問題の階層を新たに導入しようという理論です。こうして導入された分類を、「計算複雑性」といいます。

「計算複雑性理論」の実際の成立の過程は先行した「計算可能性理論」の影響を受けもう少し複雑なのですが、それは、客観的には、「コンピュータで実際に計算可能なものとはどういうものなのか？」を考える理論だと考えていいと思います。

よく混同されるのですが、それはフラクタルやカオス等を対象とした、いわゆる「複雑系の理論」とは異なるものです。

今、考えるべきこと

では、なぜ 「生成AI」が大ブレイクしている今、1930年代や1970年代に起源を持つ「計算可能性理論」や「計算複雑性理論」また、1980年代に起源を持つ「型の理論」といった「古い理論」に注目するのでしょう？

それは、冒頭に述べた「コンピュータとAI技術の次の未来を展望する」という問題意識から発するものです。

私たちは、「機械の知能は、どこまで発展しうるのか？」という問題を考える必要があります。重要なことは、その問題は、「我々人間の認識は、どこまで発展しうるのか？」という問題と同時に提起されているということです。

楽観論者も悲観論者も入り混じっているのですが、我々がそうした問題の前に立たされていることは、多くの人が、感じていることだと思います。

なぜ「計算複雑性理論」なのか？

「計算複雑性理論」は、人間の数学的な認識能力の拡大とその限界を「現実的」に境界付けようという理論なのですが、その理論は、基本的に、「チャーチ＝チューリング・テーゼ」に基づいて計算という人間の数学的能力に「チューリング・マシン」という機械的なモデルを与えることで展開します。

それは、人間が可能な計算の現実的な限界の理論であると同時に、そのモデルである機械が可能な計算の限界の理論でもあるのです。

それは、人間の認識の限界の理論であると同時に、機械の認識の限界の理論でもあるのです。

「計算複雑性理論」が示すそうした視点は、我々が今考えるべき、機械と人間の認識能力の発展の可能性について、また、機械と人間の未来での関係について、多くの示唆を与えると僕は考えています。

「計算複雑性理論」を学ぼう

「計算複雑性理論」は、けっして古い理論ではありません。それは、「人工知能論」の基本的な数学理論として、十分に有効だと思います。

この間の経験に照らせば、先行した数学的理論が、コンピュータの世界で技術的な応用を獲得するまで、数十年の時間を要することは、珍しいことではありません。

今回のセミナーでは、前半で「多項式時間と指数関数的時間」「P問題ととNP問題」「NP完全問題」といった「計算複雑性理論」の基本的な概念を紹介しようと思います。

セミナーの後半では、チューリング・マシンの拡大に伴って、対応する複雑性のクラスが拡大し、「拡大されたチャーチ＝チューリング・テーゼ」のもとで、そうした複雑性クラスの拡大が、人間＝機械の能力の拡大として解釈されうることを見ていきたいと思います。

こうしてコンテキストのもとで、「量子コンピュータ」の位置付けを明確にすることができると思います。

計算可能性理論と計算複雑性理論

計算可能性理論とChurch-Turing Thesis

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

計算複雑性理論とは何か

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

計算複雑性の基本的階層

「時間計算量」と「空間計算量」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

NP 問題

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

NP-完全問題

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Interlude

Tao、証明支援システムを語る

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

チューリングマシンの拡大と計算複雑性

非決定性チューリングマシンとNPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

確率的チューリングマシンとBPPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

量子チューリングマシンとBQPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

主要な計算複雑性クラスと対応するチューリングマシン

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Church-Turing Thesisの変化と量子情報理論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

すべてのショートムービーを見る

The post 計算複雑性理論入門 first appeared on MaruLabo.

( pdf blog )

ChatGPTの訴求力はどこから来るのか？

ChatGPTが、多くの人に強い印象を与えるのには理由があります。

それは、ChatGPTが、機械が自在にことばを操る能力を獲得したように見えるからです。これまでは、ことばを操る能力はもっぱら人間だけのものだと考えられていましたから。

そして、機械が人間並の言語能力を獲得し始めたという認識は、正しいものだと僕は考えています。

大規模言語モデルと意味を表現する技術

それでは、こうした「機械の言語能力」の大きな飛躍は、どのような技術によって可能になったのでしょう？

それは、ChatGPTを生み出した「大規模言語モデル」が、機械の上でことばとその意味を表現する技術を発展させてきたからです。

機械が、機械の上でことばとその意味を表現する技術の中核技術は、「意味の分散表現」技術と言われるものです。

「意味の分散表現」技術の現在

今回のセミナー「ことばと意味の数学的構造」は、この「意味の分散表現」技術にフォーカスして、この技術をめぐる理論的動向を紹介するものです。

多くの技術は、理論的な基礎を持ちます。その理論は数学的形式を取ります。ただ、全ての技術が理論に導かれて発展してきたわけではありません。原爆を作れたのは、物理学の理論によるものでしたが、熱力学や統計力学が蒸気機関を生み出したわけではありません。

21世紀の「人工知能」技術は、18世紀の蒸気機関に似ています。この技術の背後にある理論 — それはまだ多くの謎に満ちています – を研究するフェーズが生まれているのです。

ChatGPTの言語能力と人間の言語能力

ただ、ChatGPTの言語能力と人間の言語能力には、大きな違いがあります。

ChatGPTは「対話のために最適化された」チャット・ボットで、その言語能力は、人間の言語能力のように人間の広く深い認識能力と統合されたものではありません。

ChatGPTは、我々の「外部」に存在する現実の「世界」とも、それらをすべて包み込む「自然」とも、直接の接点を持ちません。彼が直接に「認識」しているのは、ネット上に人間が撒き散らした膨大な「言語情報」だけです。

「自然」を知らない大規模言語モデルベースの「人工知能」は、物理学者にはなれません。また、彼らには、「数学する能力」が欠けています。

現代の科学・技術を支える「機械の能力」

重要なことは、そうした能力の欠如は、大規模言語モデルに固有の問題であって、機械そのもの弱点ではないということです。

現に「機械の認識能力」も「機械の計算能力」も、生身の人間では到底太刀打ちできないほど、飛躍的に発展しています。

顕微鏡・望遠鏡・加速器・重力波望遠鏡・宇宙望遠鏡 … これらは「機械による」認識能力の拡大に他なりません。コンピュータの登場による「計算能力」の拡大は画期的なものです。

機械と人間との「協力」関係

そうした「機械の能力」の飛躍的発展が現在の科学・技術の発展を支えているのです。我々は、すでに、機械との密接な協力関係を築いているのです。　

大規模言語モデルがしゃべり出したことは、いいことですし、驚くべきことですが、それはこれまで見てきたような人間と機械との科学と技術の分野での協力関係に「革命的」な変化をもたらすものとは、僕は思いません。

それは、「万巻の書」を読んだ仙人や、「科挙」の試験をパスし書かれたことはなんでも知っている優秀な「文官」や、「対話能力」だけは優れているがセールスマンが、科学・技術の発展に寄与したことの少なさを考えれば分かると思います。

それでも、大規模言語モデルの能力から学ぼう

それでも、大規模言語モデルが示している「機械の言語能力」から、学ぶことはとても重要だと思います。

それは、何よりも、我々自身の言語能力の、いまだ隠されている秘密を知る上で、重要なヒントを与えてくれるからです。その秘密は、数学の言葉で書かれていると僕は考えています。

運が良ければ、人間の言語能力から、さらに上位の能力である人間の数学的能力が立ち現れる、その根拠を見つけ出すことができるかもしれません。

こうした議論に興味がある方、ぜひ、4月のセミナーにいらしてください。

セミナーに向けたblog

• 研究では、問題の立て方が重要であること
• 区切りをどこに置くか
• 意味の共通表現「インター・リンガ」の発見
• Attention こそすべて
• 文と文の関係へ
• 「意味の世界」の広がりについて
• 知っているけど、知らないこと
• 本当は、深い問題
• みんな大好き String Diagram
• 意味はエンタングルする
• 探究は続く

意味の分散表現論の系譜 — 大規模言語モデルへ

資料 「意味の分散表現論の系譜 — 大規模言語モデルへ」

「意味の分散表現論の系譜」の概要

( pdf blog:「研究では、問題の立て方が重要であること」)

Bengioの「次元の呪い」からSentence to Sentence まで

( pdf blog:「区切りをどこに置くか」)

Google ニューラル機械翻訳

( pdf blog:「意味の共通表現「インター・リンガ」の発見」)

Transformer

( pdf blog:「Attention こそすべて」)

BERT

( pdf blog:「文と文の関係へ」)

ことばと意味の数学的構造

はじめに

( pdf blog)

Part 1 : 意味の形式的理論– Functorial Semantics

( pdf blog:「「意味の世界」の広がりについて」)

Part 2 : ことばの構成性 – Pregroup Grammar

( pdf blog:「知っているけど、知らないこと」)

Part 3 : カテゴリー論的構成的分散意味論

DisCoCatの登場

( pdf blog:「本当は、深い問題」)

カテゴリー論の応用– Monoidal Category

( pdf blog:「みんな大好き String Diagram 」)

Part 4 : カテゴリー論的構成的分散意味論の展開

CoeckeのQuantum Natural Language Processing

( pdf blog:「意味はエンタングルする 」)

Tai-Danaeのreduced densityとenriched category

( pdf blog:「探究は続く 」)

参考資料

「ChatGPTと大規模言語モデル」関連ページ

「言語理論」関連ページ

The post ことばと意味の数学的構造 first appeared on MaruLabo.

2023年

2023/01/28「AIは意味をどのように扱っているのか？ — ChatGPT の不思議」

• エピソード再生リスト
• まとめページ

2023/01/14 「なぜ？で考える ChatGPT の不思議」

• エピソード再生リスト
• まとめページ

2022年

2022/12/24「ことばと意味の「構成性」について」

• エピソード再生リスト
• 言葉と意味の「構成性」について　講演資料
  • 第一部　意味の理論入門
  • 第二部　ことばの構成性 — 文法 —
  • 第三部　意味の構成性 — カテゴリー論的分散意味論 —
• まとめページ

2022/11/26 「量子計算の古典的検証」

• エピソード再生リスト
• 量子計算の古典的検証　講演資料
  • 第一部　『量子計算の古典的検証』問題とは何か？
  • 第二部　問題の背景
  • 第三部　Mahadevのアプローチ
• まとめページ

2022/10/29 「エンタングルする自然 ver. 2.0」

• Bell の定理 エピソード再生リスト
• 講演資料 Lomg Version
• 講演資料 Short Version
• まとめページ

2022/09/30 「ラティス暗号入門」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/08/27 「暗号技術の現在」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/07/30「並列・分散アルゴリズムの基礎」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/06/25「エントロピー論とカテゴリー論」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/05/28「エントロピー論の現在」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/04/30「量子情報と通信技術」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/03/26 「コンピュータ、数学の問題を解き始める」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/02/26 「String Diagram を学ぶ 」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2022/01/29 「分散合意アルゴリズム (1) — Paxos」

• 講演ビデオ再生リスト
• エピソード再生リスト
• 講演資料
• まとめページ

2021年

2021/11/26 「認識の認識」

2021/10/29 「認識について考える」

2021/09/30 「コロモゴロフ複雑性とアルゴリズム論的情報理論」

2021/09/04 「量子情報とエントロピー」

2021/08/05 「密度行列 ρ で理解する量子の世界」

2021/07/17 「ペンローズの宇宙論」

2021/06/26 「情報とエントロピー」

2021/05/29 「情報とエントロピー入門」

2021/04/10 「エンタングルする認識」

2021/03/27 「エンタングルする自然」

2021/02/26 「チューリングマシンの拡大と複雑性理論」

2021/01/29 「チューリングマシンを学ぼう！」

2020年

2020/12/25 「MIP*=RE入門」

2020/11/27 「コンピュータサイエンスの現在 — MIP*=RE定理とは何か」

2020/10/15「量子コンピュータ入門 — 量子コンピュータと人工知能」

2020/09/18「人工知能と計算科学」

2020/08/28「量子通信入門 」

2020/07/26 「エンタングルメントで理解する量子の世界」

2020/06/30「2のn乗の話（チューリングマシンの話）」

2020/06/20「ケット|k> で理解する量子の世界」

2020/05/15「たとえ話で理解する量子の世界」

2020/05/05「AWSでの形式手法の利用」

2020/03/27「論理学入門 II — ラムダ計算と関数型言語」

2020/02/17「量子コンピュータの現在 — 量子優越性のマイルストーンの達成 」

2020/01/28「論理学入門 I」

The post マルレク・コンテンツ一覧（2022年以前） first appeared on MaruLabo.

11/26 マルゼミ 「量子計算の古典的検証」について

「量子計算の古典的検証」とは、量子コンピュータが人間の指示通りに働いているか、量子コンピュータの行なった計算が正しいものであるかを、人間がキチンと確かめると言うことです。こうしたことは、普通のコンピュータではごく普通に行われていることですが、量子コンピュータでは、それがとても難しいのです。

この10年以上、研究者たちは、実践的にも大きな意味のあるこの問題に取り組んできたのですが、なかなか答えが見つかりませんでした。それが、最近になって、この難問が肯定的に解かれました。解いたのは、若い大学院生 Urmila Mahadev でした。

今回のセミナーは、彼女の「量子計算の古典的検証」を取り上げます。

まず、こちらを。わかりやすい解説です。

• 「量子計算の古典的検証」とは何か？
• 問題の難しさ
• Mahadevのアプローチ (1)– 対話型証明
• 量子コンピュータとの「対話」
• Mahadevのアプローチ (2)– 暗号化
• Post量子暗号の力

「量子計算の古典的検証」問題とは何か？

「量子計算の古典的検証」とは何か？

( スライドのpdf blog:「「量子計算の古典的検証」とは何か？」)

量子コンピュータの働きをチェックし検証する– 問題の難しさ

( スライドのpdf 　blog:「問題の難しさ」)

Mahadevのアプローチ (1)– 対話型証明

( スライドのpdf 　blog:「Mahadevのアプローチ (1)– 対話型証明」)

Mahadevのアプローチ (2)– 暗号化 —

( スライドのpdf 　blog:「Mahadevのアプローチ (2)– 暗号化」)

背景

「量子超越性」をめぐる論争

( スライドのpdf blog:「3年前の10月に起きたこと」)

ファインマンの洞察

( スライドのpdf blog:「ちょうど、40年前を振り返る」)

ベルの定理とその実験での検証

( スライドのpdf blog:「証明と実験」)

Interactive Proofと証明概念の転換

( スライドのpdf blog:「証明と検証 — 証明とは何か？」)

複雑性の新しいクラスBQPの発見

( スライドのpdf blog:「ショアのアルゴリズムと量子計算複雑性」)

準備

Learning with Errors

( スライドのpdf blog:「Post量子暗号」)

Universal Quantum Circuit

( スライドのpdf blog:「任意のf(x)を計算する量子回路を考える」)

Trapdoor Claw-Free Functions

( スライドのpdf blog:「Clawとは何か」)

Noisy Trapdoor Claw-Free Functions using LWE

( スライドのpdf blog:「LWE暗号の利用」)

Mahadev

Quantum Certification Protocol

( スライドのpdf blog:「量子コンピュータであることを確認する方法」)

講演ビデオ

Part 1 「『量子計算の古典的検証』問題とは何か？」

Part 2 「量子計算の古典的検証 (2) 背景」

Part 3「量子計算の古典的検証 (3) 準備」

講演資料

関連ページ

量子コンピュータの現在 — 量子優越性のマイルストーンの達成 —

ラティス暗号入門

チューリングマシンの拡大と複雑性

The post 量子計算の古典的検証 first appeared on MaruLabo.