AIは意味をどのように扱っているのか？ -- ChatGPT の不思議

2023年1月16日 2023年8月5日 MaruyamaFujio

はじめに

1月28日「ChatGPTの不思議」の続編のセミナーを開催します。

前回の1月14日のセミナーでは、ChatGPTが「大規模言語モデル」の中から生まれながら、「人間からのフィードバックによる強化学習」という方法で、人間の教師による教育と評価をうけて成長した、人間との「対話」に特化したAIシステムであることを見てきました。

それにしても、ChatGPTが、多くの人に強い印象を与えたのは、それが滑らかに「対話」する不思議な能力をもっていることだったと思います。その能力は、ChatGPTが「対話」の意味を的確に理解していることに主要に依拠しています。そして、その能力はChatGPTの産みの母である「大規模言語モデル」から受け継いだものに他なりません。

今度の1月28日のセミナーでは、前回のセミナーでは取り上げることのできなかった、ChatGPTをはじめとする現代のAI技術が、どのように意味を扱ってきたかを、すこし歴史的に振り返って見たいと思います。

次のような三つの内容でセミナーを構成しようと思っています。

　● 意味理解への様々なアプローチ
　● 意味の分散表現の登場
　● 大規模言語モデルの成立

【意味理解への様々なアプローチ】

「IBM Watson」や「Google 音声検索」、また「Amazon Alexa」等のボイス・アシスタンス等の「対話型」のシステムは、それぞれ異なる意味理解のモデルに基づいています。言語の意味理解のコンピュータでの実装のいくつかの取り組みとその特徴を簡単に紹介します。

【意味の分散表現の登場】

ただ、ある時点から、ディープ・ラーニングでの「意味の分散表現」が、それまでの様々な意味の実装方法を凌駕するようになります。自然言語の理解に統計的手法を使うという流れは古くからあったのですが、ここでは「意味」は明確にベクトルで表現されることになります。具体的には、次のトピックスを紹介しようと思います。

　○ Auto Encoder
　○ Word2Vec
　○ Sequence to Sequence
　○ Attention Mechanism

【大規模言語モデルの成立】

「意味の分散モデル」の成功は、次の「大規模言語モデル」の成立で、決定的なものになりました。ここでは、次のトピックスを紹介しようと思います。

　○ Google 機械翻訳
　○ BERT
　○ GPT-3

ChatGPTの不思議な意味の世界を知る上で、ChatGPTに先行したこれらのプロジェクトから、学ぶことは多いとおもいます。

【今後の予定】

「意味の分散表現論」は、いまも大きな変化の中にあります。基本的には、意味を「ベクトルで表現する」という現在のスタイルから、「意味を密度行列」で表現するという研究が進行中だと思います。それらについても、今後、セミナーで紹介していきたいと思います。ご期待ください。