計算機科学 | MaruLabo

今回のセミナーの骨組みは、2015年のランポートのTuring賞受賞講演に全面的に依拠しています。興味がある方は、是非、原論文をお読みください。
“The Computer Science of Concurrency: The Early Years”
https://cacm.acm.org/magazines/2015/6/187316-turing-lecture-the-computer-science-of-concurrency/fulltext#R9

お申し込みは、こちらからお願いします。
https://concurrent.peatix.com/view

講演資料「並列・分散アルゴリズムの基礎」（ダウンロード）

セミナー解説blog

セミナー解説資料

排他制御 1 ダイクストラ

ダイクストラのMutual Exclusion アルゴリズム 1

( スライドのpdf blog:「あのころみんな若かった」)

ダイクストラのMutual Exclusion アルゴリズム詳細

( スライドのpdf blog:「go to 文も素晴らしい！」)

排他制御 2 ランポート

ランポートのbakeryアルゴリズム 1

( スライドのpdf blog:「これは、やさしいアルゴリズムだ！」)

ランポートのbakeryアルゴリズムの正しさ

( スライドのpdf blog:「アルゴリズムを図解する」)

新しいbakeryアルゴリズムと並列性の表現

( スライドのpdf blog:「無理は承知で …」)

生産者消費者同期

ダイクストラのsemaphore

( スライドのpdf blog:「次章へ。その前に ...」)

生産者消費者同期アルゴリズムを記述する

( スライドのpdf blog:「なぜ、歴史を振り返るのか？」)

Producer-Consumerアルゴリズムの振る舞いを図解する

( スライドのpdf blog:「アルゴリズムの振る舞いを図解する」)

アルゴリズムの正しさへのアプローチ

アルゴリズムとプログラム

( スライドのpdf blog:「アルゴリズムとプログラムは違うものです」)

状態モデルとアルゴリズムの「不変量」

( スライドのpdf blog:「アルゴリズムの不変量」)

イベントの順序関係とランポートの「論理的時計」

( スライドのpdf blog:「相対論とプログラミング」)

状態とアクションと時制論理式

( スライドのpdf blog:「アルゴリズムの標準モデル」)

講演ビデオ

並列・分散アルゴリズムの基礎 (1) 排他制御ダイクストラ

並列・分散アルゴリズムの基礎 (2) 排他制御ランポート

並列・分散アルゴリズムの基礎 (3) 生産者消費者同期

並列・分散アルゴリズムの基礎 (4) アルゴリズムの正しさへのアプローチ

MaruLabo 関連ページ

「プログラムと論理」 2019/10/10 マルゼミ

小論は、 Deep Specificationのような現代の「形式的手法」の理解を深めることを目的としている。

現代の「形式的手法」には、いずれも50年近く前の1970年代に遡る、二つの異なった「起源」がある。両者ともに「プログラムと論理」という問題意識は共通していたのだが、生まれた場所が異なっていた。一つは、論理学＝数学の領域で生まれ、もう一つは計算機科学の領域で生まれた。

前者の代表は、ハワードやマーチン・レフである。彼らは、「型の理論」を作り上げ、抽象的だが、プログラムの実行は、ある定理の証明に他ならないという認識にたどり着いた。

後者の代表は、ホーアやダイクストラである。彼らは、代入文やif文、シーケンシャルな実行や繰り返しのWhile文といった具体的なプログラムの構成と論理との関係を研究した。

ただ、 20世紀の段階では、「プログラムと論理」という問題を扱うには、論理学＝数学からのアプローチでは、現実のコンピュータ技術や具体的なプログラム言語との接点は明確ではなかった。計算機科学からのアプローチでは、論理の多様な性質への理解と、何よりも強力な「証明マシン」を欠いていた。

様々な紆余曲折を経て、両者の統一は、21世紀に持ち込まれることとなった。筆者は、こうした二つの流れが合流したところに、 Deep Specificationのような現代の「形式的手法」が生まれたと捉えている。

小論では、20世紀に計算機科学の中で追求された「形式的手法」とその「挫折」を、一つのトピックにしている。このテーマでは、歴史を振り返るのには意味があると考えている。なぜなら、現代の「形式的手法」は、かつて一度失敗したムーブメントの再復活という面を持つからである。

現代の形式的手法の紹介は、前回のマルレクに続くものだが、今回は、出来るだけ具体的な実例の紹介を心がけた。

コンピュータが論理的＝数学的推論能力を持つことの認識と強力な証明マシンの存在こそが、20世紀の形式的手法と現代の形式的手法を分かつ最大の違いだと筆者は考えている。

と言っても、講演とスライドだけでは、「コンピュータによる証明」「コンピュータによる証明のチェック」の強力さ（スピードと規模感）が伝わらないと感じている。その技術は、現代の我々の手の届くところにあるのだ。ただ、多くのIT技術者は、そのことに気づいていない。

改めて、現代の形式的手法の基礎であり、現代のソフトウェア科学の Lingua Franca であるCoqの利用者を増やすことの重要性を強く感じている。

「分散合意アルゴリズム — Paxos」 2022/01/29 マルレク

今回のマルレクのテーマは、代表的な「分散合意アルゴリズム」であるPaxosの紹介です。

なんで今頃Paxosなのかと感じる人もいると思います。IT系の話題を取り上げるのは久しぶりなので、最初に、このセミナーの背景を述べておこうと思います。それは、現在の日本で、大規模なシステム障害が連続して起きていることと、すこし関係しています。

21世紀初頭のIT技術とITビジネスの大きな変化は、膨大な計算資源を集中してネットワークを通じてサービスを提供するクラウドと呼ばれる巨大なシステムの成立によって特徴づけられます。こうしたクラウドへのリソースの集中に対応して、クラウドのサービスを利用するクラウド・デバイスとしてのスマートフォンが拡散し、ほとんど全人類に普及します。

技術者のライフサイクルからみれば、このクラウド時代への移行は、驚くほど短期間に急速に進行しました。

大規模システムというのは、単に、システムの規模が大きいことを意味しません。今日では、大規模システムは、設計者がそれを意識するか否かに関わらず、クラウドと同じようにネットワークをまたいだ大規模分散システムの形を取ります。

プログラミングのスタイルも大きく変わりました。サーバーサイドでサービスを作るプログラマも、クライアントサイドでアプリを作るプログラマも、本人がそれを意識すると否とに関わらず、今日のプログラマの大部分は、ネットワーク・プログラマです。

クラウド技術はもちろんネットワーク技術なのですが、クラウド技術成立の前提には、「ネットワーク上で規模を拡大しながら、システム全体としては障害を起こさないシステムを作ることは難しい」という認識があったことです。この認識は「ハードウェアの障害は起きるものだ」という障害観の成立とともに、重要なものだと思います。

クラウドの技術は、まさにこうした困難を乗り越える技術として登場しました。また、それは、冒頭でも見たように、大きな成功を収めました。

ただ、僕は、変化のスピードが早すぎて — 繰り返しますが、技術者のライフサイクルから見ればということですが — ネットワーク上でシステムを構築するというクラウド時代の中心的変化の技術的な意味が、クラウド以前の技術者にもクラウド以降の技術者にも、きちんと伝わっていないのではという心配をもっています。

それは、クラウド以前の技術者だけの問題ではありません。若い技術者は、必ずしもクラウド技術の一時代を画したGoogleの”Google File System (GFS)” や”BigTable” に関心を持っているわけではないように思えます。

GFSとBigTableは、直接的には異なる目的のために開発されたものです。ただ、両者で共通に利用されている “Chubby”と呼ばれた「分散ロック・サービス」は、Paxosの実装にほかなりません。見かけは地味ですが、こうした形での「分散合意アルゴリズム」の利用には、クラウド技術のエッセンスが詰まっていると僕は考えています。

10年以上前の技術の昔話をするつもりはありません。「風が吹けばオケ屋が儲かる」式に「Paxosがわかればクラウド技術がわかる」という話をするつもりもありません。ただ、知らないままに通り過ぎる訳にはいかない技術は存在します。

その上、「分散合意」技術、けっして完成した過去の枯れた技術ではありません。その重要性は、現代のIT技術においても、新しい装いのもとに引きつがれています。

The post 並列・分散アルゴリズムの基礎 first appeared on MaruLabo.

計算科学とエントロピー

OkudaSotaro — Sun, 05 Sep 2021 20:57:32 +0000

2021/09/30 マルゼミ「計算科学とエントロピー — コロモゴロフ複雑性とアルゴリズム論的情報理論」概要

これまで、丸山のセミナーでは、エントロピーについて、主要に、ボルツマン・ギブスらの統計力学的アプローチと、シャノンの情報理論的アプローチの二つを見てきました。

今回のマルゼミ「計算科学とエントロピー — コロモゴロフ複雑性とアルゴリズム論的情報理論」では、それら二つとは異なるエントロピーへのアプローチを取り上げます。「アルゴリズム論的情報理論 (“Algorithmic information theory”)」といわれるものです。

「アルゴリズム論的情報理論」は、計算科学でのチューリング＝チャーチらの計算可能性の理論と、シャノンの情報理論とを結びつけようという試みです。

熱力学的エントロピーは、分子の運動の「乱雑さ」の尺度と考えられます。同じ「水」でも、水の分子が結晶上に規則的に並ぶ「氷」のエントロピーは低く、水の分子が自由に空中を飛び回る「水蒸気」のエントロピーは高くなります。

ビットの列で与えられる情報でも同じです。100個の”0″が連なるビット列は、規則的なのでエントロピーは低く、「ランダム」に、”0″と”1″が並ぶビット列は、エントロピーが高いと考えることができます。

ただ、この例え話は、実は、我々が何が「規則的」で何が「ランダム」かを判断できることを、暗黙のうちに仮定しています。「ランダムさ」でエントロピーを説明するのなら、「ランダムさ」とは何かを、きちんと説明できなければいけません。

あるビット列Xとビット列Yが与えられた時、次のように考えることにしましょう。 Xを出力するコンピュータ・プログラムの集まりをPX、Yを出力するコンピュータ・プログラムの集まりをPYとしましょう。（X,Yを出力するプログラムは一つとは限りません）

ここで、「プログラムの長さ」を考えます。Xを出力するコンピュータ・プログラムの集まりPXに属する全てのプログラムについて、その「長さ」を考え、その中で一番短いものの長さをx とします。同様に、Yを出力するプログラムで一番短いものの長さをy とします。

この時、プログラムの長さ x, y を比較して、x < y なら、ビット列Yはビット列Xより「複雑」だと考えます。要するに、あるビット列を出力する最小のプログラムの長さが大きければ大きいほど、そのビット列は、より複雑でよりランダムだと考えるのです。

先の例で言えば、100個の”0″が連なるビット列を出力するプログラムは（例えば、ループを使って）短く書けるが、「ランダム」に”0″と”1″が並ぶビット列を出力するプログラムは、短くは書けないということです。

ある出力Xを与えるプログラムの長さの最小値を、Xの「コロモロゴフの複雑性」と言います。「アルゴリズム論的情報理論」の出発点は、この「コロモロゴフの複雑性」です。

解説資料「計算科学とエントロピー」

セミナーへのお誘い　( pdf blog)

第一部　ランダムさの不思議

ランダムさの不思議　( pdf blog)

Randomness と Symmetry　( pdf blog)

ランダムの力 — 量子論のインパクト」　 ( pdf blog)

ランダムさの定義の難しさ　( pdf blog)

ランダムさへの新しいアプローチ　( pdf blog)

第二部　計算可能性理論とコロモゴロフの複雑性

コロモゴロフの複雑性　( pdf blog)

すべての計算可能な関数は、プログラムで表現できる　( pdf blog)

コロモゴロフ複雑性の「不変性」　(pdf blog)

コロモゴロフ複雑性の「計算不能性」　( pdf blog)

チャイティンの不完全性定理　(slide blog)

第三部　アルゴリズム論的情報理論

チャイティンのΩとバエズのエントロピー　( pdf blog)

アルゴリズム論的情報量　( pdf blog)

二つのアルゴリズム論的情報量の関係　(pdf blog)

アルゴリズム論的情報量に確率の概念を導入する　( pdf blog)

分配関数 Z – 統計力学の方法を振り返る　( pdf blog)

アルゴリズム論的情報理論への分配関数Zの応用　( pdf blog)

Gibbs Ensemble と共役変数　( pdf blog)

アルゴリズム論的熱力学　(video pdf blog)

講演資料「計算科学とエントロピー　（ダウンロード）

講演ビデオ「計算科学とエントロピー」

項目をクリックするとその箇所から、ビデオの再生を始めることができまあす。

第一部　ランダムさの不思議

第二部　計算可能性理論とコロモゴロフの複雑性

第三部　アルゴリズム論的情報理論

「エントロピー」関連ページへ

The post 計算科学とエントロピー first appeared on MaruLabo.

エンタングルする認識

MaruyamaFujio — Mon, 29 Mar 2021 23:32:24 +0000

2022年 10月29日エンタングルメント・セミナーを開催します。

本セミナーは、録画されたコンテンツの配信で、生放送ではありません。
この日のこの時間帯の都合が悪い人も、申し込みいただければ、いつでも都合のいい時間に、何回でも講演ビデオを利用いただけます。表記の開催日時「10/29 19:00~」は、コンテンツの配信開始の日時を表しています。

10/29 マルレク「エンタングルする自然 — 「逆理」から「原理」へ」申込はこちら

10月29日マルレク「エンタングルする自然 — 「逆理」から「原理」へ」を開催します。
お申し込みは、次のページからお願いします。https://entangled-nature.peatix.com/

今回のマルレクのテーマは「量子エンタングルメント＝量子もつれ」です。2022年のノーベル物理学賞は、アラン・アスペ、ジョン・クラウザー、アントン・ツァイリンガーの三人に与えられました。三人は、いずれも「エンタングルメント」にかかわる実証的な実験の分野で大きな仕事をしてきた人たちです。三人のノーベル賞受賞をきっかけに、量子の世界の不思議な現象である「量子エンタングルメント」に対する関心が高まることを期待しています。

エンタングルメントは、現代では量子の世界ひいては自然のもっとも基本的な現象だと考えられています。今回のセミナーでは、「エンタングルする自然」という新しい自然観の成立を、一つのドラマとして紹介しようと思います。

アインシュタインが今から80年以上前に、量子論の矛盾を示す「逆理」として提示したこの現象は、当時の量子論の主流派であったボーアたちからは、黙殺されました。ベルは、ボーアたちとは異なる立場からこの問題を考え、量子論の正しさを理論的に確立します。

21世紀になって、マルデセーナやサスキンドは、量子論と相対論の統一を目指す取り組みの中で、エンタングルメントの重要性に改めて気づきます。先にも述べたように、エンタングルメントは、現代では、量子論の重要な「原理」の一つとして扱われているのです。

「逆理から原理へ」というタイトルは、そのことを指しています。

今回のセミナーは、以前マルレクでおこなった「楽しい科学 — エンタングルする自然」というセミナーhttps://www.marulabo.net/docs/science-entanglement/ と基本的には同じ内容にしようと思っています。「楽しい科学」というタイトルが示すように、科学が好きな多くの人に、自然観の変化の大きな流れとエンタングルメントの重要性を、楽しく伝えられればと思っています。

前回のセミナーとの違いは、主に、次の二点にあります。ご期待ください。

● エンタングルメントについて、ベルの果たした大きな役割を、少し詳しく触れたいと思っています。( ベルが、ノーベル賞をもらうことはありませんでした。)

● 「量子コンピュータ」以上に実用化のスピードが速いと期待されている「量子通信」の中核技術である「量子テレポーテーション」について、解説と現状の紹介を追加します。

（このセミナーは、今回のノーベル賞受賞者の業績を個々に紹介している訳ではありません。それについては、MaruLaboの次のページを参照ください。「エンタングルメント関連ページ」https://www.marulabo.net/marulabo-entanglement/ )

「エンタングルする認識」ページ更新しました

MaruLabo「エンタングルする認識」ページを更新しました。https://www.marulabo.net/docs/philosopy/

10/29マルレク「エンタングルする自然 ver. 2」の開催に合わせたものです。
https://www.marulabo.net/docs/science-entanglement2/
10/29セミナーの理解に、参照ください。

「エンタングルする認識」「はじめに」から

「エンタングルする自然」「エンタングルする認識」二つのページは関連しています。

「エンタングルする自然」のページは、21世紀の自然観の中核に「エンタングルする自然」という自然観が生まれていることを紹介しています。「エンタングルする認識」のページは、こうした自然観を、我々がどのように形成・獲得してきたかをみようとしたものです。

「自然の認識」は、「自然」と「認識」という二つの項からできています。ただ、その二つの項はまったく切り離された別々のものではありません。「自然」が新しい相貌の下に立ち現れ始めたということは、「認識」の飛躍が起きつつあるということに他なりません。それは、人間が新しい認識のスタイルを獲得しつつあることを意味します。

僕は、エンタングルメントの認識が、現時点での人間の認識能力の飛躍の中心舞台だと考えています。

小論は、こうした進行中の転換を、1964年のベルの定理（第一部）、1985-6年の対話型証明の登場（第二部）、そして2020年のMIP*=RE定理（第四部）の三つのトピックを中心に概観したものです。これらは、1930年代のアインシュタイン、チューリング、フォン・ノイマンの仕事に淵源するものです。

このページの各Partの関係については、スライドの図を参考にしてください。

量子コンピュター（第三部）のトピックは、「自然」と「人間の認識」という二項のコンテキストからではなく、「自然と人間と機械」という三項の関係として捉えるのがいいと考えています。

（このあたりの問題については、機械の利用と認識能力の拡大を扱った次のショートムービーをご覧ください。https://youtu.be/j8flZDzL6yA?list=PLQIrJ0f9gMcMlJbm6pdZKdXwrzWSGyeqL ）

認識の「飛躍」と言いましたが、大きな飛躍には、歴史的に先行するやはり大きな飛躍があります。興味深いのは、歴史的飛躍を行った発見者自身（例えばアインシュタイン）でさえ、その飛躍がその後の歴史的飛躍の中で果たす役割を予見できないことがあるということです。その役割と意味は、現在から過去を見るときに、はっきりと浮かび上がります。

　「ミネルバのフクロウは黄昏に飛び立つ」

自然科学は、自然の哲学から分離・発展したものですが、科学への「哲学的」アプローチも、少なくとも過去から現在の到達点をオーバービューするのには、意味があるのではと考えています。

( 2021/04/10 楽しい哲学 )

講演資料「エンタングルする認識 — MIP*=REへ」(ダウンロード)

講演ビデオとblog

Part I エンタングルメントの実在の認識 — Bellの定理とCHSHゲーム ( blog )

エンタングルメントの実在の認識 — CHSHゲーム– ( video slide)

エンタングルメントの認識の難しさ — 「局所性」について — ( video slide)

Part II 「全能者」との対話で得られる認識 — Interactive Proof というアプローチ (blog)

「全能者」との対話で得られる認識– Interactive Proof — ( video slide)

対話型証明の最初の成功 ( video slide)

Part III 　量子コンピュータの能力の認識 — 量子複雑性理論とBQPクラス」 (blog)

量子コンピュータの能力の認識 — BQPクラス– ( video slide)

量子優越性とは何か ( video slide)

Part IV　「エンタングルする知性」の認識 — MIP*=REの様々な解釈（blog)

「エンタングルする知性」の認識 — MIP*=RE — ( video slide)

MIP*=REの認識論的含意 ( video slide)

セミナーの関連資料

Part I エンタングルメントの実在の認識
— Bellの定理とCHSHゲーム

このPart Iの概略については、先の概要をご覧ください。
エンタングルメントとは何かについては、次の資料を参照ください。
- MaruLabo「エンタングルメントで理解する量子の世界」
- YouTube 講演ビデオ
CHSHゲームについては、次の資料を参照ください。
- MaruLabo「nonlocal game とInteractive Proof」
- ショートムービー「CHSHゲームの実験は「局所実在論」を否定する」

Part II 「全能者」との対話で得られる認識
— Interactive Proof というアプローチ

このPart II の概略については、こちらをご覧ください。
Interactive Proofについては、次の資料を参照ください。
- MaruLabo　Interactive Proofの発展　第一部「Interactive Proofと複雑性」
- MaruLabo　Interactive Proof 入門　第三部「確率と証明」
- MaruLabo　Interactive Proof 入門　第二部「nonlocal game とInteractive Proof」　これは先日も紹介しました。
- MaruLabo　Interactive Proof 入門　第一部「機械と人間のインタラクション」
今回のセミナーで主要に取り上げる Interactive Proofの最初の成果としての「グラフの非同型性の複雑性」については、次のショートムービーをご覧ください。
- 「Interactive Proofから見るグラフの非同型性」

Part III 　量子コンピュータの能力の認識
— 量子複雑性理論とBQPクラス」

このPart III の概略については、次をご覧ください。
「量子優越性」については、次の資料を参照ください。
- MaruLabo　「量子コンピュータの現在 — 量子優越性のマイルストーンの達成」
- 講演ビデオは、次のcrash academy さんのサイトから無料でアクセスできます。
  - 前半部　https://crash.academy/video/1170/2530
  - 後半部　https://crash.academy/video/1170/2531
Googleの実験の意味については、次のPodcastが概要を知るには便利です。
量子複雑性BQPについては、次のショートムービーをご覧ください。
- 「チューリングマシンの拡大と複雑性 — 概要」

Part IV　「エンタングルする知性」の認識
— MIP*=REの様々な解釈

このPart IVの概略については、次をご覧ください。
この章の最終節「MIP*=REの認識論的含意」については、次をご覧ください。
MIP=RE* については、次の資料を参照ください。
数学的認識については、次の資料を参照ください。
- MaruLabo 「数学的認識について / 数学の基礎と計算科学」
機械と人間の認識能力の拡大については、次のショートムービーをご覧ください。

認識の理論

自然と人間と科学 blog

認識について考える

認識について考える 2 — 認識の認識

情報とエントロピー

人工知能と複雑性理論

「認識の理論」関連ページ

The post エンタングルする認識 first appeared on MaruLabo.

チューリングマシンの拡大と複雑性

MaruyamaFujio — Mon, 01 Feb 2021 00:15:27 +0000

「チューリングマシンの拡大と複雑性」概要

私たちの認識は単純なものから複雑なものに進みます。世界は複雑なものであふれているので、我々の認識もどんどん複雑になっていきます。ただ、こうした私たちの認識の前進がいつまでも続くとは限りません。私たちの認識は、しばしば、複雑さの前に立ちすくみます。複雑なものを理解するのには、長い時間と膨大な知識の集積が必要であることは、科学の歴史を見れば分かります。

僕は、対象の複雑さと認識の複雑さは同じものだと考えています。そうした認識は「複雑さ」そのものを対象とした認識が可能だということを意味します。現代の計算科学のもっとも活発な研究分野はの一つは「複雑性理論」なのですが、そうした理論が登場したことの意味は、そう考えれば、よく理解できると思います。

今回のセミナーでは、様々なチューリングマシンの拡大といくつかの基本的な複雑性のクラスの対応を紹介したいと思います。次のようなチューリングマシンを取りあげます。

　● 決定性チューリングマシン
　● 非決定性チューリングマシン
　● 確率性チューリングマシン
　● 量子チューリングマシン

先に、「複雑なものを理解するのには、長い時間と膨大な知識の集積が必要である」と書きましたが、このチューリングマシンによる複雑さのモデルでは、複雑なものを理解するのに必要な「長い時間」がチューリングマシンの「計算時間」に、「膨大な知識の集積」がチューリングマシンの「テープの長さ」に対応すると思って構いません。

「そんな単純化で大丈夫か？」
確かに。

もちろん、科学の歴史をチューリングマシンに喩えようと思っているわけではありません。ただ、こうした単純化（「抽象化」は、単純化に他なりません）された切り口が、「認識の有限性と対象の無限性」「古典論と量子論」「決定論と確率論」といった認識の大きな問題にアプローチする一つの有効な手段を提供するという話ができればと思っています。