ことばと意味の数学的構造

2023年4月3日 2023年8月5日 MaruyamaFujio

マルゼミ「ことばと意味の数学的構造」へのお誘い

( pdf blog )

申込サイト https://math-structure.peatix.com/

ChatGPTの訴求力はどこから来るのか？

ChatGPTが、多くの人に強い印象を与えるのには理由があります。

それは、ChatGPTが、機械が自在にことばを操る能力を獲得したように見えるからです。これまでは、ことばを操る能力はもっぱら人間だけのものだと考えられていましたから。

そして、機械が人間並の言語能力を獲得し始めたという認識は、正しいものだと僕は考えています。

大規模言語モデルと意味を表現する技術

それでは、こうした「機械の言語能力」の大きな飛躍は、どのような技術によって可能になったのでしょう？

それは、ChatGPTを生み出した「大規模言語モデル」が、機械の上でことばとその意味を表現する技術を発展させてきたからです。

機械が、機械の上でことばとその意味を表現する技術の中核技術は、「意味の分散表現」技術と言われるものです。

「意味の分散表現」技術の現在

今回のセミナー「ことばと意味の数学的構造」は、この「意味の分散表現」技術にフォーカスして、この技術をめぐる理論的動向を紹介するものです。

多くの技術は、理論的な基礎を持ちます。その理論は数学的形式を取ります。ただ、全ての技術が理論に導かれて発展してきたわけではありません。原爆を作れたのは、物理学の理論によるものでしたが、熱力学や統計力学が蒸気機関を生み出したわけではありません。

21世紀の「人工知能」技術は、18世紀の蒸気機関に似ています。この技術の背後にある理論 -- それはまだ多くの謎に満ちています – を研究するフェーズが生まれているのです。

ChatGPTの言語能力と人間の言語能力

ただ、ChatGPTの言語能力と人間の言語能力には、大きな違いがあります。

ChatGPTは「対話のために最適化された」チャット・ボットで、その言語能力は、人間の言語能力のように人間の広く深い認識能力と統合されたものではありません。

ChatGPTは、我々の「外部」に存在する現実の「世界」とも、それらをすべて包み込む「自然」とも、直接の接点を持ちません。彼が直接に「認識」しているのは、ネット上に人間が撒き散らした膨大な「言語情報」だけです。

「自然」を知らない大規模言語モデルベースの「人工知能」は、物理学者にはなれません。また、彼らには、「数学する能力」が欠けています。

現代の科学・技術を支える「機械の能力」

重要なことは、そうした能力の欠如は、大規模言語モデルに固有の問題であって、機械そのもの弱点ではないということです。

現に「機械の認識能力」も「機械の計算能力」も、生身の人間では到底太刀打ちできないほど、飛躍的に発展しています。

顕微鏡・望遠鏡・加速器・重力波望遠鏡・宇宙望遠鏡 … これらは「機械による」認識能力の拡大に他なりません。コンピュータの登場による「計算能力」の拡大は画期的なものです。

機械と人間との「協力」関係

そうした「機械の能力」の飛躍的発展が現在の科学・技術の発展を支えているのです。我々は、すでに、機械との密接な協力関係を築いているのです。　

大規模言語モデルがしゃべり出したことは、いいことですし、驚くべきことですが、それはこれまで見てきたような人間と機械との科学と技術の分野での協力関係に「革命的」な変化をもたらすものとは、僕は思いません。

それは、「万巻の書」を読んだ仙人や、「科挙」の試験をパスし書かれたことはなんでも知っている優秀な「文官」や、「対話能力」だけは優れているがセールスマンが、科学・技術の発展に寄与したことの少なさを考えれば分かると思います。

それでも、大規模言語モデルの能力から学ぼう

それでも、大規模言語モデルが示している「機械の言語能力」から、学ぶことはとても重要だと思います。

それは、何よりも、我々自身の言語能力の、いまだ隠されている秘密を知る上で、重要なヒントを与えてくれるからです。その秘密は、数学の言葉で書かれていると僕は考えています。

運が良ければ、人間の言語能力から、さらに上位の能力である人間の数学的能力が立ち現れる、その根拠を見つけ出すことができるかもしれません。

こうした議論に興味がある方、ぜひ、4月のセミナーにいらしてください。

セミナーに向けたblog

意味の分散表現論の系譜 -- 大規模言語モデルへ

資料「意味の分散表現論の系譜 -- 大規模言語モデルへ」