ChatGPTと大規模言語モデル関連ページ

GPT-4との対話は、我々は、我々人間が作った構造の上で、初めて新しい構造が「創発」されていることを目撃しているのかもしれないという問題意識を生み出しています。

ただ、今回のセミナーは、直接、この疑問に応えることを目的としたものではありません。なぜなら、「創発」という現象については、20世紀に活躍した科学者たちが、既に多くのことを語っているからです。それらは、意外に思えるかもしれませんが、「エントロピー論」と深く結びついています。

僕が、今回のセミナーでやってみたいと思っていることは、機械の言語能力に焦点を絞って、現在の機械の言語能力がどのようなものであるかを、改めてチェックしてみることです。

機械の言語能力の到達点を知る、一番簡単で確実な方法は、機械と「対話」することです。こうした機械の能力の評価のスタイルは、機械が人間並の言語能力をもって初めて可能になったことです。

このセミナーは、今年(2023年) 3月に発表されたOpenAIのレポート"GPT-4 Technical Report" を紹介したものです。このレポートは、現在のいわゆる「生成AI」技術の到達点と問題点を知る上で、もっとも基本的なドキュメントの一つだと僕は考えています。このOpenAIのレポートは、少し奇妙な構成をしています。"GPT-4 Technical Report" と名付けられたレポート本体の「付録 Appendix」に "GPT-4 System Card" という奇妙な名前の別の論文が添付されています。

「このSystem Cardは、GPTファミリーの最新LLM、GPT-4を解析する。このモデルの限界（微妙に偽りのある説得力のある文章を作成する）と能力（不正なアドバイスを巧妙に提供する、商業的だけでなく軍事的にも両面で性能を発揮しうる、非常時の危険な振る舞いなど）がもたらす安全上の課題を明らかにする。」
「私たちの緩和策やプロセスは、GPT-4の挙動を変化させ、ある種の悪用を防ぐことができるものの、その効果は限定的で、ある場合には脆いままであることを実証した。これは、先を見越しての計画とガバナンスの必要性を指摘するものである。」

ChatGPTが示した、「機械の言語能力」の大きな飛躍は、どのような技術によって可能になったのでしょう？

それは、ChatGPTを生み出した「大規模言語モデル」が、機械の上でことばとその意味を表現する技術を発展させてきたからです。

機械が、機械の上でことばとその意味を表現する技術の中核技術は、「意味の分散表現」技術と言われるものです。

AIの世界で「意味の分散表現論」がどのように生まれ、どのように発展してきたかを、実装と理論の二つの面から、振り返ってみたいと思います。
小論は、「意味の分散表現」にフォーカスして、大規模言語モデルにいたる実装レベルでの興味深い取り組みを、コンパクトに紹介したものです。

今回のセミナーで強調したいことは、大規模言語モデルと数学の問題としてではなく、人工知能と数学の問題として問題を立てれば、全く別のアプローチがあるということです。

それは、ディープラーニング的・大規模言語モデル的回り道をしなくても、コンピュータ自身に、直接に数学的推論を行う能力があるのだと考えることです。数学を得意とする「もう一つの人工知能」の道があるのです。

今回のセミナーでは、前回のセミナーでは取り上げることのできなかった、ChatGPTをはじめとする現代のAI技術が、どのように意味を扱ってきたかを、すこし歴史的に振り返って見たいと思います。

次のような三つの内容でセミナーを構成しようと思っています。

　● 意味理解への様々なアプローチ
　● 意味の分散表現の登場
　● 大規模言語モデルの成立

ChatGPT試してみましたか？　なかなか驚きです。今までのAI技術と一味違います。

いろいろ不思議なことに気がつきます。
第一。なぜ、こんなになめらかに賢く、人間と対話できるのでしょうか？
第二。なぜ、こんなにも賢く見えるのに、平気で間違ったことを言うのでしょう？

今回のセミナーは、主要にこの二つの「なぜ？」に答えようとしたもの