なぜ?で考える ChatGPT の不思議

ChatGPTの不思議

ChatGPT試してみましたか?
なかなか驚きです。今までのAI技術と一味違います。

いろいろ不思議なことに気がつきます。

第一。なぜ、こんなになめらかに賢く、人間と対話できるのでしょうか?
第二。なぜ、こんなにも賢く見えるのに、平気で間違ったことを言うのでしょう?

今回のセミナーは、主要にこの二つの「なぜ?」に答えようとしたものです。

あわせて、今回のセミナーは、次のような疑問に答えようとしています。

「ChatGPTは、どのようなカラクリで、こうしたふるまいを可能にしているのでしょう?」
「OpenGPTは、AI技術のどのような蓄積から生まれ、AI技術をどこまで高めるのでしょう?」
「OpenGPTは、そもそも、ことばの意味をどのように理解しているのでしょう?」「OpenGPT以降のAI技術は、どのように発展するのでしょう?」

次のような構成を予定しています。

 ● ChatGPT 対話サンプル
 ● ChatGPTの「人間のフィードバックからの強化学習」
 ● ChatGPTの教育環境
 ● ChatGPT成立の背景
 ● AI技術発展の展望

詳しくは、MaruLaboで更新される動画を参照ください。

講演資料 (ダウンロード

講演ビデオ(再生リスト

第 1 章  ChatGPTの対話サンプル

第 2 章  ChatGPTの方法

第 3 章  ChatGPTの教育環境

第 4 章  ChatGPT成立の背景

セミナーへの招待

( pdf blog]「セミナーへの招待」)

ChatGPT 対話サンプル

ChatGPT の素晴らしい対話のサンプル

( pdf blog:「これは面白い!

ChatGPT が間違ったことを言うサンプル

( pdf blog:「ChatGPTは嘘をつく」)

ChatGPTの方法

「人間のフィードバックからの強化学習」-- 三つの訓練ステップ

( pdf blog:「キーワードは「人間のフィードバック」」)

ChatGPTの限界とIterative deployment

( pdf blog:「どのように「限界」を超えるのか?」)

ChatGPTの教育環境

彼は、何を学んできたのか?

( pdf blog:「正月なので少し寄り道 – 人間もChatGPTも猛勉強する」)

彼の人間の先生が準備したこと

( pdf blog:「正月なので少し寄り道 (2) – ChatGPT の先生はこんな人」)

ChatGPTの成長 – GPT vs. InstructGPT

( pdf blog:「 正月なので少し寄り道 (3) -- ChatGPTの成長 」)

ChatGPT成立の背景

モデルの規模の問題

( pdf blog:「 規模を大きくすれば、どんどん賢くなるわけでもないということ 」)

現在のAIは数学が苦手である

( pdf blog:「 AlphaGoは「超絶強い」のに、なぜ、AlphaCodeは「平凡」でしかないのか? 」)

ChatGPTは意味を理解している。ただ、…

( pdf blog:「 翻訳の意味の世界の奇妙さ 」)

このセミナーの続編は、こちら

1/28 マルレク「AIは意味をどのように扱っているのか? -- ChatGPT の不思議」

参考文献

「ChatGPTと大規模言語モデル」関連ページ

ChatGPT関連論文

[2022/11/08] ChatGPT: Optimizing Language Models for Dialogue (OpenAI)
https://openai.com/blog/chatgpt/

[2022/10/24] Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing (Google Reseach)
https://arxiv.org/abs/2205.12253

[2022/10/19] Scaling Laws for Reward Model Overoptimization (OpenAI)
https://arxiv.org/abs/2210.10760

[2022/04/04] Training language models to follow instructions with human feedback (OpenAI)
https://arxiv.org/abs/2203.02155

[2022/02/19] Competition-Level Code Generation with AlphaCode (Deep Mind)
https://storage.googleapis.com/deepmind-media/AlphaCode/competition_level_code_generation_with_alphacode.pdf

[2022/02/03] Formal Mathematics Statement Curriculum Learning (OpenAI)
https://arxiv.org/abs/2202.01344

[2017/07/20] Proximal Policy Optimization Algorithms (OpenAI)
https://arxiv.org/abs/1707.06347

「意味の分散表現」関連資料

Representations for Language: From Word Embeddings to Sentence Meanings

古いものだが、「分散意味論」の確立期のよいまとめになっている

[2019/01/08] 「人工知能と意味の形式的理論」

[2017/03/27] 「Googleニューラル機械翻訳」

[2017/02/22] 「RNN と LSTMの基礎 — Sequence to Sequence —」