講演資料
講義資料スライドの表紙です。上のスライド画像をクリックすると、同じ画面のまま全編のPDF資料を快適に閲覧・印刷することができます。
セミナーの概要
本セミナー「embeddingプログラミングの基礎」は、「機械と人間が意味を共有するembeddingの世界」という壮大な問いを起点に、AIの言語能力獲得という歴史的事件の技術的核心に迫ろうとする意欲的な講義です。[p.1, p.3] 前回セミナーで提起された「機械はどのようにして意味を理解するようになったのか」という問いの延長線上に本セミナーは位置します。2003年のBengioによる「次元の呪い」への取り組みから2022年のChatGPT登場に至る四半世紀のAI技術の理論史を「意味の分散表現論（embedding論）の発展史」として一貫して捉え、その現代的到達点を実際のプログラミングを通じて体験的に理解することを目指しています。[p.7, p.6] 本セミナーが特に強調するのは、embeddingが「人間と機械の共通言語」であり、音声・文字に次ぐ「ことばの第三の形態」であるという洞察です。[p.17] LLMの内部ではembeddingが文字通り縦横無尽に飛び回っており、その振る舞いの不思議さと情報の豊かさを直接ハンドルするembeddingプログラミングを学ぶことが、AIの深い理解と高度な活用の土台になるという確信が全体を貫いています。[p.18, p.24] 講義はPart 1（embeddingの世界の概論）、Part 2（embeddingプログラミング入門）、Part 3（embeddingと検索技術の新展開）の三部構成で展開されます。[p.2] 単なる技術紹介に留まらず、「文字列検索から意味検索への転換」がGoogleによって先導された21世紀初頭のIT大変革に匹敵する「二度目の大変化」を引き起こしつつあるという歴史的・社会的展望までを射程に収めた、骨太なセミナーです。[p.21, p.22]
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: 機械と人間が意味を共有するembeddingの世界
前回セミナーの振り返りを足場として、embedding概念の哲学的・技術史的な位置づけを確立します。LLMの成功要因を「Next token prediction」「Self-Supervised Learning」「RAG」の三点に整理したうえで、embeddingそのものが「目立たない存在」でありながら実はLLMの情報処理能力の核心を担っているという逆説的な重要性を明示します。[p.10, p.18] そして本セミナーの目的を「LLMの世界をいったん離れて直接embeddingをハンドルすること」と明確に設定します。[p.19]
■ Part 2: embeddingプログラミング入門
抽象的なembeddingの概念を、OpenAI APIを使った具体的なコードとその出力によって「実在するもの」として体験させます。前半の「embedding体験入門」では「cat」「猫」「吾輩は猫である」などの例でembeddingの生成・類似度計算を示し、後半ではAmazonレビューデータを使った実用的な意味的検索（Semantic Search）プログラムの全体パイプラインを解説します。[p.32, p.62]
■ Part 3: embeddingと検索技術の新しい展開
embeddingによる意味検索の適用範囲が「テキスト」を超え「あらゆるもの」に及ぶというVector Searchの世界観を提示し、さらにMatryoshka Representation Learning（MRL）という2022年の革新的技術によってembeddingの次元が柔軟に調整可能になったことを解説します。[p.112, p.129] これらが合わさってマルチモーダルAI時代の意味検索基盤となりつつあることを示します。[p.113]
ページのナビゲート