セミナーのタイトルを、「エントロピーと創発」から「創発について考える」に変更しました。(2023/07/19)

はじめに

GPT-4との印象的な対話

この間GPT-4と「対話」を楽しんできたのですが、印象に残ったやりとりがありました。それは、GPT-4が、「記憶」や「学習した情報」を、内部ではどのように組織しているのかと尋ねたときです。

GPT-4が答えたこと

GPT-4 は次のように答えました。

「具体的な「記憶」の概念について話すと、GPT-4は単語や情報を個々に「覚えている」わけではありません。 …
「学習結果」は、モデルの全体的な構造とその重みとバイアスによって組織化されています。
これは人間が個々の事実や情報を脳に直接保存するのとは対照的で、より抽象的な表現を生成します。」

多分、GPT-4は人間のこと誤解している

これは面白い答えです。なぜなら、GPT-4は、人間のことを誤解しているからです。

我々人間は、「事実や情報を脳に直接保存」しているわけではありません。そういうスタイルで情報の記憶をしているのは、コンピュータのメモリーやデータベースであって、人間ではそうではありません。

人間がしていること

我々人間が、脳の内部で「記憶」や「学習した情報」を、どのように組織しているのかをGPT-4に答えるとすると、次のようになると思います。

「人間の脳内の最下層の「記憶」のメカニズムについて話すと、人間は単語や情報を個々に「覚えている」わけではありません。 …
「学習結果」は、脳のニューロンの全体的な構造とそのシナプスの重みとバイアスによって組織化されています。
我々人間は、コンピュータのメモリーやデータベースのように、個々の事実や情報を脳に直接保存しているわけではありません。
それから、より抽象的な表現が生成されます。 」

GPT-4と人間は、これらの点では、とてもよく似ている

GPT-4と人間の両者は、これらの点では、とてもよく似ています。

GPT-4のベースとなっているディープラーニングのニューラル・ネットワークのモデルが、もともとは人間を含めた生物のニューラル・ネットワークをモデルにしていることを考えれば、両者の類似は不思議なことではないかもしれません。

ただ、両者の間には、最下層のニューラル・ネットワークのレベルでの類似を超えた類似があるように見えます。両者ともに、「記憶」や「学習」や「知能」といった高次元の構造が、最下層の構造のうえに存在するように見えると言うことです。

「創発」とは何か？

このように、低次元の構造の上に、まったく新しい働きをもつ高次元の構造が生まれることを「創発」と言います。

「創発」の奇妙な性質

「創発」という現象は、奇妙な性質を持っています。

第一に、低次元の構造（例えば、ニューロンのネットワーク構造）だけに注目すると、高次元の構造（例えば、「記憶」「学習」「知能」といった）は、目に入らずに隠れてしまいます。あるいは、そうした高次元の構造は、謎めいた説明のつかないものに見えます。

第二に、今度は、高次元の構造に注目してみましょう。こうした高次元の構造は、それを生み出した低次元の構造と強く結びついていて、そのただなかから出現しているのは明らかです。それにもかかわらず、高次元の構造を低次元の構造に「単純に還元」することができないのです。

今回のセミナーについて

今回のセミナーは、この「創発」がテーマです。

冒頭のGPT-4との対話の例は、我々は、我々人間が作った構造の上で、初めて新しい構造が「創発」されていることを目撃しているのかもしれないという問題意識によるものです。

ただ、今回のセミナーは、直接、この疑問に応えることを目的としたものではありません。

なぜなら、「創発」という現象については、20世紀に活躍した科学者たちが、既に多くのことを語っているからです。

それらは、意外に思えるかもしれませんが、「エントロピー論」と深く結びついています。

今回のセミナーは、そうした議論を紹介することを主な目的に設定しようと考えています。

セミナーの構成について

次回の投稿で、セミナーの構成については、少し詳しく説明したいと思っているのですが、今のところ、次のような構成を考えています。ご期待ください。

　Part 1: プリゴジンが考えたこと — 非平衡熱力学と散逸構造
　Part 2 : ジェインズが考えたこと — 最大エントロピー原理とベイズ推論
　Part 3 : フリストンが考えたこと — 最小自由エネルギー原理と脳のモデル

セミナーに向けたショートムービー再生リスト

はじめに

「創発について考える」へのお誘い

( 資料 pdf blog:「「エントロピーと創発」へのお誘い 」)

「エントロピーと創発」セミナーの構成プラン

( 資料 pdf 　blog:「「エントロピーと創発」セミナー構成プラン 」)

Part 1 : プリゴジンが考えたこと — 非平衡熱力学と散逸構造論 入門

古典的熱力学から非平衡熱力学へ

( 資料 pdf 　blog:「古典的熱力学から非平衡熱力学へ 」)

エントロピーの生成

( 資料 pdf 　blog:「エントロピーの生成 」)

「局所平衡仮説」の導入と不可逆過程の熱力学の基本式

( 資料 pdf 　blog:「 Lyapunov関数と系の安定性 」)

不可逆過程の線形熱力学の二つの基本定理と「散逸構造」

( 資料 pdf 　blog:「お味噌汁と「散逸構造」」)

機械と散逸構造の違い

( 資料 pdf 　blog:「コンピュータ上では「創発」は起きそうもないこと」)

Part 2 : ジェインズが考えたこと — 最大エントロピー原理とベイズ推論 入門

推計から推論へ

( 資料 pdf 　blog:「推計から推論へ 」)

Gibbsの方法とMAXENT

( 資料 pdf 　blog:「 Gibbsの方法の不思議なパワー 」)

「統計的推論」の新しい見方

( 資料 pdf 　blog:「 「統計的推論」の新しい見方 」)

相対エントロピーとベイズ推論

( 資料 pdf 　blog:「 Jaynesは、どのように Bayes に接近したのか 」)

Part 3 : フリストンが考えたこと — 最小自由エネルギー原理と脳のモデル 入門

脳研究の動向

( 資料 pdf 　blog:「 10年前の脳研究の失敗を振り返る」)

自由エネルギーと脳

( 資料 pdf 　blog:「 自由エネルギーと脳」)

拡大された「推論」概念

( 資料 pdf 　blog:「 拡大された「推論」概念」)

こころの時間の数学

( 資料 pdf 　blog:「 こころの時間の数学」)

おわりに — 今後の展望について

( 資料 pdf 　blog:「 おわりに — 今後の展望について」)

参考資料

「ChatGPTと大規模言語モデル」関連ページ

「エントロピー」関連ページ

The post 創発について考える first appeared on MaruLabo.