GPT-4 との対話 -- プロンプトで遊ぶ --
講演資料と講演ビデオ
資料は、カーソルを合わせるとスクロールできます。
「はじめに ... 」「Part 1 ... 」などのタイトル部分をクリックすれば、動画に移動します。
はじめに -- 対話を通じて分かったこと、問題意識と方法
Part 1 文を生成する力 -- 連想と連想の鎖、意味のない文と曖昧な文
Part 2 意味と構成性 -- 語の意味、フレーズ・文の構成とその意味、構成性に基づく推論
Part 3 ことばを生成する能力と人間 -- 生成する力、ディドロのオウム、ことばの力、翻訳能力
セミナー予告
【 「プロンプトで遊ぶ」？ 】
「プロンプトで遊ぶ」というタイトルは、「生成系AI」の技術を、自分の仕事に真剣に活用しようとしている人や、この技術の登場を絶好のビジネスチャンスと考えている人にとっては、不適切だったかもしれません。
また、「生成系AI」技術の浸透を、「社会に対する重大な脅威の拡大」と捉える人からすれば、「遊んでいる場合ではない。不謹慎だ。」と思われるかもしれません。もっとも、僕自身は、基本的には、このこの後者の立場に近いのですが。（マルレク「GPT-4 Technical Report を読む」 を参照ください。）
【 OpenAIの「過信」への警告 】
このように評価が分かれる理由の一端を、OpenAI自身が、見事に分析しています。それは、直接にはChatGPTの登場を熱烈に歓迎した多くの人々への警鐘なのですが。
「 GPT-4は「幻覚」を作り出す傾向がある。この傾向は、モデルの説得力や信憑性が増し、ユーザーによる過信を招くと特に有害となり得る。逆説的だが、幻覚は、モデルがより真実味を帯びるにつれて、より危険になる可能性がある。なぜなら、ユーザーは、自分がある程度精通している領域で真実の情報を提供するモデルに対して信頼を築くからである。」
GPT-4 Technical Report
ただ、この「過信」への警告は、同じ論理で、「自分がある程度精通している領域で真実の情報を提供するモデル」に基づいた、この技術への「不信」への警告になるのかもしれません。
【 言語ネイティブな人間と言語ネイティブな人工知能 】
「生成系AI」技術が、多くの人に驚きを与えたのは、それが人間のみが持つと考えられていたことばを自在に操る能力をコンピュータが獲得したことを示したことにあると僕は考えています。それは、人工知能技術の発展の中でも特筆すべき達成です。
冷静に言えば、言語ネイティブな知能を持つ人間は、人間と同じ言語ネイティブな知能を持つ人工知能を作ることができたということだと、僕は考えています。人間の知能は数学ネイティブではありません。でも、数学ネイティブな知能は存在し得ます。( マルレク「人工知能と数学」を参照ください。 )
もっと言えば、量子ネイティブな知能があるのかもしれません。
【 機械の言語能力 】
今回のセミナーで、僕が取り上げることは、おそらく多くの人の関心の高い、その技術の実践的な応用の可能性でもその技術の社会的インパクトでもありません。また、両者の「折り合い」をどうつけるかを考えることでもありません。あまり適切ではないかもしれない「遊ぶ」という言葉をつかったのは、そのせいだと思います。
僕が、今回のセミナーでやってみたいと思っていることは、機械の言語能力に焦点を絞って、現在の機械の言語能力がどのようなものであるかを、改めてチェックしてみることです。
【 機械との対話 】
機械の言語能力の到達点を知る、一番簡単で確実な方法は、機械と「対話」することです。こうした機械の能力の評価のスタイルは、機械が人間並の言語能力をもって初めて可能になったことです。
何を「彼」または「彼女」に尋ねるかは、いろいろな選択肢があります。これは、これで面白いことだと思います。おおよそ、人間が考えることは、ことばで表現できます。「彼」または「彼女」が「考え」ていることは、そのことばで表現されるのでしょうか？
もっとも、こうした「擬人化」が適切かは、よく考えなければいけないことかもしれません。
【 プロンプトは対話の手段 】
機械との対話には、APIを叩くのではなく、もちろん、プロンプトを使います。
そうしてみると、機械と人間のコミュニケーションの手段であるのプロンプトが、人工的なプログラム言語ではなく自然言語そのものであることが、よくわかります。それは、言語ネイティブな知能として構成された機械にとっては、当然のことかもしれません。
ただ、機械に命令を出すのにプログラム言語を使うのに慣れた我々には、プロンプトは、むしろ窮屈で制限が大きいものであると感じると思います。
「対話」を通じて、プロンプトでできることできないことを整理できたらと思います。
【 やってみなければわからないこと 】
いつもは、論文の紹介や、自分の考えでセミナーをしているのですが、今回は「相手」がいるので、やってみなければわからないことがいろいろあります。
そのあたりは、ご容赦ください。
セミナーに向けた blog
- GPT-4は連想する力を持つ
- GPT-4は、まだ、日本語が苦手かもしれない
- GPT-4は「語の意味」についてどのような情報を持っているか？
- 大規模言語モデルには「文法」や「品詞」の概念はないらしいこと
- 「黒い猫」問題
- GPT 大いに語ったり、語らなかったりする
- Turing Test
- ことばの力
- 翻訳能力のブレイクスルーとしての大規模言語モデル
セミナーに向けたショートムービー
マルレク「プロンプトで遊ぶ -- GPT-4 との対話 」へのお誘い
連想と連想の鎖
GPT-4の言語能力として、最初に紹介したいのは、それが「連想」する力を持つことです。
次のようなプロンプトをGPT-4に投げます。
「「暗い空の下高い丘の上の一人の少女」という文章から連想できる文章を作ってみてください」
次が、GPT-4の答えです。見事なものだと思います。
"少女は星空を見上げて、心に願い事をした。"
"彼女は高い丘の上から町の灯りを眺めていた。"
"少女は深夜の風に髪をなびかせながら立っていた。"
"彼女は静寂の中で自分の思考に耳を傾けていた。"
"少女は丘の上から、遠くに鳴る教会の鐘の音を聞いた。"
ここでは、それを文・フレーズ・語を生成する言語能力として扱っているのですが、一般化すれば、GPT-4は、新しい表現を創造する能力を持っていると考えていいと僕は思っています。
（本当でしょうか？ セミナーではこの問題を考えてみたいと思います。）
( 資料 pdf blog :「GPT-4は連想する力を持つ」)
意味のない文と曖昧な文
今度は、連想ではなく GPT-4に「文法的には正しいが意味のない文」を直接に生成させてみました。結果は少し、微妙なものでした。GPT-4には、「意味的に矛盾していること」を「実際には存在しないこと」と同義に捉える傾向があるようです。
「意味がない」ことをきちんと考える必要があるようです。大規模言語モデルに意味のない文を作れというのは、愚問だったかもしれません。
こんどは、文の文法的構造から、曖昧な意味を持つ文の生成をやってみました。英語では、その説明も含めて、完璧に答えているのが印象的でした。
「 "I saw a man with a telescope."という文は確かに2つの異なる解釈が可能です。私が望遠鏡を使って男性を見た（つまり、私が望遠鏡を持っていて、その望遠鏡を使って男性を観察した）。
私が望遠鏡を持つ男性を見た（つまり、男性が望遠鏡を持っていて、私はその男性を見た）。
ただ、日本語での曖昧な文の生成は完全に失敗しました。失敗の理由は、明らかでした。GPT-4は、英語で意味の曖昧な文を日本語に翻訳すると、その日本語の文も曖昧な文になると考えているのです。まず、英語で考えているんですね。GTP-4の母語は英語なのかもしれません。
( 資料 pdf blog :「GPT-4は、まだ、日本語が苦手かもしれない」)
語の意味
GPT-4が「語の意味」についてどのような情報を持っているかを探るため、ある語を与えるとその語の「辞書項目」を出力するプロンプトを作ってみました、
「歩く」を与えると、こんな出力を返します。
【「歩く」の意味 】:
動詞1: 両足を交互に前に進めて移動する。(例:彼は公園を歩いた。)
動詞2: 一定の目的や方向に進む。(例:彼は成功へと歩いている。)
【「歩く」のSemantic Category 】:
[同義語] 歩行する; 徒歩で行く; 徘徊する; 散歩する; 闊歩する; 行進する; 練り歩く; 遊歩する; 步く; うろつく
[類義語] 走る; ジョギングする; 進む; 旅する; 移動する; 歩みを進める; 旅行する; 遊ぶ; 散策する; 探検する
[上位概念] 移動 ＜ 行動 ＜ 生物の活動 ＜ 生物
[下位概念] 歩く ＞ 超高層ビルを歩く ＞ 空中を歩く ＞ ワイヤーを歩く
【「歩く」のLexical Category 】:
[近接語] 道; 公園; 散歩; ペース; 歩幅; 速度; 歩数; 遠く; 距離; 目的地; 環境; 風景; エリア; 足元; 自然
[直前語] ゆっくりと; 速く; 楽しく; 遠くまで; 道を; 一緒に; 独りで; 公園を; 自然を; 環境を
[直後語] を開始する; を終える; を続ける; と感じる; のスピード; の距離; のペース; で移動する; で旅行する; で探検する
この「辞書項目」の選択には、モデルがあります。プリンストンが公開しているWordNetという英語の大規模な語彙データベースです。最近はご無沙汰していたのですが、以前、このデータベースに憧れていました。今回作成したプロンプトの「上位概念」はWordNetのhypernymを、「下位概念」はWordNetのhyponymをパクったものです。
( 資料 pdf blog :「GPT-4は「語の意味」についてどのような情報を持っているか？」)
フレーズ・文の構成とその意味
前回、与えられた語の「辞書項目」を作成するプロンプトを作ってみて、GPT-4が「語の意味」について、いかに膨大な情報を保持しているのか、その一端を見ることができたと思います。ただ、それは学習したGPT-4がシステム全体として発揮する能力です。
大規模言語モデルの「語の意味表現」の基本は、語の分散表現 – エンべディングと呼ばれるベクトル表現です。ここでは、まず、基本的な語またはフレーズの意味の分散表現について、GPT-4に色々聞いてみました。
例えば、「日本語の「犬」と英語の「dog」は同じ意味ですが、その分散表現は同じものになりますか？」とか「語だけじゃなく、フレーズや文も分散表現を持ちますか？」とか「語と文の分散表現のベクトルの次元は同じですか？」とか「「黒い犬」と「black dog」というフレーズの分散表現は同じものになりますか？」等々。GPT-4は、対話に丁寧に答えてくれました。
今回のセッションには、もう一つのテーマがあります。それは、文法の問題です。
今回紹介したいくつかのサンプルは、確かにGPT-4には与えられたフレーズを品詞に分解して、文法的に正しいのかそうでないのか、ちゃんと判断する能力があるように見えます。ただ、つっこんでGPT-4に聞くと、「品詞」や「文法」について、意外な答えが返ってきます。
「AIは〜ができるように見える」ことと「AIは、実際に〜ができる」こととは違うことがあります。冒頭に述べた「連想する力」についても、僕が錯覚しているだけなのかもしれません。
無害な「錯覚」もありうるのですが、こうした「錯覚」が、Aiの能力評価の上でどういう意味を持つ、別の機会に考えてみたいと思います
( 資料 pdf blog :「大規模言語モデルには「文法」や「品詞」の概念はないらしいこと」)
構成性に基づく推論
諸氏百家の時代の論客公孫竜は、「白い馬は馬ではない」という議論を展開したそうです。「白い馬」という概念は、「馬」という概念とは違うものだということなのですが、やはり、典型的な「詭弁」ですね。どう考えても、「白い馬」は「馬」です。
前回のセッションで、「黒い猫」というフレーズを使ったので、こういう質問をGPT-4に投げてみました。
「GPTでは「黒い猫は猫」であるという推論はできますか？」
GPT-4の答えは、こういうものでした。
「GPTは事前に学習した大量のテキストデータからパターンを学び取りますが、その基本的な設計では、厳密な意味での推論や論理的な帰結は直接的には行いません。しかし、訓練データに存在するパターンに基づいて、「黒い猫」が「猫」であるという事実を理解し、その情報に基づいた文を生成することはできます。
….. ただし、このような知識は、言語モデルが訓練データから学び取った統計的なパターンに過ぎず、モデルが「黒い猫」が「猫」であるという推論を自身の内部的な「理解」から生成しているわけではありません。」
こうした大規模言語モデルの推論能力の弱点を、「黒い猫」問題と呼ぶことにしましょう。こうした弱点は、モデルの規模をさらに拡大すれば、解消されると考えている人も少なくないと思います。でも、そうじゃないんです。
生成
今回のセッションのテーマは、生成系AIの「生成する能力」についてです。
今回のセミナーの「お誘い」でも述べたのですが、僕が一番驚いたのは、GPTが「自由に連想する能力」を持っているように見えることです。
本当でしょうか？ それはAIの世界ではよくあるように、「そのような能力があるように見えるが、実はそれは幻想である。」ということかもしれません。
だって、前回見たように、「黒い猫は、どう考えても（そんなデータを学習しようがしまいが）猫である。」という自明な推論能力も持たないのに、もっと高度に思える、ある文から他の文を導く「自由連想」などできるわけがないと。
ただ、これには少し誤解が入っています。「自由」な連想は、自由であればあるほど、論理的な推論より簡単なものになります。だって、自由な連想として、ランダムに選ばれた出鱈目な文を選ぶこともできるからです。
次のような質問をGPT-4にしてみました。
「ある文から他の文を連想する時、あなたはどんな手順で連想を実行しているのですか？ 詳しく教えてください。」
そうすると、GPT-4は大いに語り始めます。
( 資料 pdf blog :「GPT 大いに語ったり、語らなかったりする」)
ディドローのオウム
ディドローは、「どんな質問にもすぐに答えるオウムがいれば、我々は躊躇なく、そのオウムは知性を持っていると考えるだろう」と言ったそうです。デカルトやディドローが、今日のChatGPTを見たらなんというか、想像してみると楽しいです。
「私は、『機械は考える事が出来るか？』という問題を考察することを提案する。」
1950年、チューリングは、先の一節ではじまる「計算機械と知能」と題する、「現代の人工知能」研究の第一ぺージをしるす、興味深い論文を雑誌「マインド」に寄稿します。この論文の中で彼は、後に「チューリング・テスト」と呼ぱれる事になる機械が知能を持つか否かの判定基準を提案します。
それは、簡単にいえぱ、もし我々が、直接には相手が誰だかわからないかたちで -- たとえぱテレタィプを通じて機械と会話するかぎり、会話の相手が機械であるのか、人間であるのか判断がつかないなら、その機械は知能を持つと言えるというものでした。
Turingは、その論文の中で、Turing Testでの対話の例として、四つの問題を例示しています。一問目は「それ、僕には無理」と機械がパスしたので、正確には三問なのですが。「プロンプトで遊ぶ」というセミナーを予定しているので、Turingの四つの問題を、そのまま GPT-4に質問してみました。
なんとというか予想通りというか、GPT-4はこのオリジナルのTuringテストをいとも簡単にクリアできることを実際に確かめました。素晴らしい！ こまかいやりとりに興味ある方は、ビデオあるいはpdf資料を参照ください。
( 資料 pdf blog :「Turing Test」)
ことばの力
「ことば」は不思議な力を持っています。
それは、日々の日常の仕事や生活の中でのコミュニケーションの手段であるとともに、我々の考えや感情や意志を表現する上で不可欠の手段です。文字の形を獲得したことばは、歴史的に形成・蓄積された我々の世界や民族や信仰についての認識をしっかりと次の世代に伝える記憶装置としての役割を果たしてきました。
ことばは、また、論理的な思考の母胎でもあります。「黒い猫」と言うフレーズは、「黒い猫は猫である」ことを含意します。ことばの力が内包する論理性と文字の発明がなかったら、数学は生まれてこなかったでしょう。ことばとのアナロジーなしでは、「自然は数学ということばで書かれている」というガリレオの認識も生まれてこなかったはずです。
我々人間が、社会的な集団を形成し、宗教や芸術を作りあげ、科学・技術を発展させてきた営為の基礎に、人間に与えられたことばの力があることは明確です。「賢い人=ホモサピエンス」にとって、ことばは彼が持つ最強かつ万能の道具なののです。
6/30 マルレクへのお誘い 2
( 資料 pdf blog :「6/30 マルレクへのお誘い 2」)
翻訳能力
( 資料 pdf blog :「翻訳能力のブレイクスルーとしての大規模言語モデル」)
