embeddingの共有・蓄積・検索の未来

embeddingがグローバルな検索の世界に与える影響
このパートでは、AIの登場がグローバルなインターネット上の検索に与える影響を見ていきたいと思います。
検索の世界は、今、急速な変化の只中にあります。その変化を特徴づけるのは、機械が「ことばの意味を理解し始めた」という変化です。その変化は、「文字から意味への変化」と考えることができます。
「機械と人間が意味を共有するembeddingの世界」の登場が、検索の世界を変えようとしています。
21世紀のIT技術の二度目の大変化
それは、LLMの能力がRAGによって大きく拡大したという、狭いAI技術の変化の話ではないのです。
振り返ってみれば、GAFAM等のBig Techの成立に結果した21世紀初頭のITの世界の大きな変化は、Googleのグローバルな検索技術の登場によって先導されました。
その成功は、PageRank・MapReduceというアルゴリズムの実行を可能とするWebスケールの大規模分散システムと、「広告モデル」という新しいビジネス・モデルによって支えられたものでした。
四半世紀の時を経て、21世紀のIT技術・ITビジネスは二度目の大きな変化を迎えようとしています。

どのような変化を展望するのか
もっとも、予想される変化を現在のIT技術・ITビジネスの延長で考える必要はないと思います。
「機械の言語能力の獲得」は、機械にとっても人間にとっても歴史的な大事件です。より具体的に、「機械と人間が意味を共有するembeddingの世界」の進展は、機械にとっても人間にとっても重要な意味を持ちます。
それは、人類の情報共有と情報蓄積のスタイルが、大きく変わるだろうという展望を我々が持ちうることだと思います。

