AIは意味をどのように 扱っているのか? -- ChatGPT の不思議

はじめに

1月28日「ChatGPTの不思議」の続編のセミナーを開催します。

前回の1月14日のセミナーでは、ChatGPTが「大規模言語モデル」の中から生まれながら、「人間からのフィードバックによる強化学習」という方法で、人間の教師による教育と評価をうけて成長した、人間との「対話」に特化したAIシステムであることを見てきました。

それにしても、ChatGPTが、多くの人に強い印象を与えたのは、それが滑らかに「対話」する不思議な能力をもっていることだったと思います。その能力は、ChatGPTが「対話」の意味を的確に理解していることに主要に依拠しています。そして、その能力はChatGPTの産みの母である「大規模言語モデル」から受け継いだものに他なりません。

今度の1月28日のセミナーでは、前回のセミナーでは取り上げることのできなかった、ChatGPTをはじめとする現代のAI技術が、どのように意味を扱ってきたかを、すこし歴史的に振り返って見たいと思います。

次のような三つの内容でセミナーを構成しようと思っています。

 ● 意味理解への様々なアプローチ
 ● 意味の分散表現の登場
 ● 大規模言語モデルの成立

【 意味理解への様々なアプローチ 】

「IBM Watson」や「Google 音声検索」、また「Amazon Alexa」等のボイス・アシスタンス等の「対話型」のシステムは、それぞれ異なる意味理解のモデルに基づいています。言語の意味理解のコンピュータでの実装のいくつかの取り組みとその特徴を簡単に紹介します。

【 意味の分散表現の登場 】

ただ、ある時点から、ディープ・ラーニングでの「意味の分散表現」が、それまでの様々な意味の実装方法を凌駕するようになります。自然言語の理解に統計的手法を使うという流れは古くからあったのですが、ここでは「意味」は明確にベクトルで表現されることになります。具体的には、次のトピックスを紹介しようと思います。

 ○ Auto Encoder
 ○ Word2Vec
 ○ Sequence to Sequence
 ○ Attention Mechanism

【 大規模言語モデルの成立 】

「意味の分散モデル」の成功は、次の「大規模言語モデル」の成立で、決定的なものになりました。ここでは、次のトピックスを紹介しようと思います。

 ○ Google 機械翻訳
 ○ BERT
 ○ GPT-3

ChatGPTの不思議な意味の世界を知る上で、ChatGPTに先行したこれらのプロジェクトから、学ぶことは多いとおもいます。

【 今後の予定 】

「意味の分散表現論」は、いまも大きな変化の中にあります。基本的には、意味を「ベクトルで表現する」という現在のスタイルから、「意味を密度行列」で表現するという研究が進行中だと思います。それらについても、今後、セミナーで紹介していきたいと思います。ご期待ください。

セミナーのお申し込みは、こちらから https://chatgpt2.peatix.com/

1/28マルレク「AIは意味をどのように扱っているのか? -- ChatGPTの不思議」への招待

( pdf blog:「1/28 マルレクへの招待」)

セミナーに向けたblog

意味理解への様々なアプローチ

Google検索とChatGPT

( pdf blog:「Google検索とChatGPT」)

Entityモデルの FolksonomyとChatGPT

( pdf blog:「EntityモデルのFolksonomyとChatGPT」)

文と意味の構成性Compositionalityから問題を整理する

( pdf blog:「言語モデルの成功と失敗 -- 「意味の分散表現 」)

(資料pdf) IBM Watsonは、何をしていたのか?

これは動画ではありません。pdfの資料です。ダウンロードはこちらから

意味の分散表現の登場

Word2Vec-- 語の意味のベクトル表現

( pdf blog:「Bengioの「次元の呪い」 -- 語の数と文の数」)

RNN / LSTM -- 記憶と忘却、模倣と創造

( pdf blog:「2011年のChatGPT -- RNNの不思議な能力」)

(資料pdf) RNN と LSTMの基礎

これは動画ではありません。pdfの資料です。ダウンロードはこちらから。

Encoder / Decoder

( pdf blog:「Hintonのアイデア -- 意味的ハッシング」)

Sequence to Sequence-- RNNの機械翻訳への応用

( pdf blog:「Ilyaの活躍 --「文の意味の固定長ベクトル」」)

Attention Mechanism

( pdf blog:「「文の意味の固定ベクトル」はどこに?」)

大規模言語モデルの成立

Googleニューラル機械翻訳

( pdf blog:「インターリンガ -- 言語をまたぐ「意味の共通表現」の発見」)

(資料pdf) Googleニューラル機械翻訳

これは動画ではありません。pdfの資料です。ダウンロードはこちらから