全体概要
本セミナーは、2015年12月22日に丸山不二夫氏が主宰したマルレク（丸山レクチャー）の講義録であり、「機械学習技術の現在２」と題されています。その中心的なテーマは、「自然言語をコンピュータはどのように理解できるか」という問いと、それを実現するための現実的・先端的な技術の比較検討です。[p.1]
講義は大きく二つの柱から構成されています。第一の柱は、IBMが提供するWatson APIです。かつてクイズ番組「Jeopardy！」で人間のチャンピオンを破った旧Watsonと、現在のWatson APIは本質的に異なるシステムであるという問いかけから始まります。旧Watsonは、単独の質問に答える「質問回答システム」であり、Wikipediaを内包した自前の知識ベースと複数の評価システムを組み合わせた精巧な仕組みでした。これに対し、新しいWatson APIは、対話型のアシスタントシステムを開発者が構築するためのプラットフォームであり、その中核である「Natural Language Classifier」は、例文との類似度に基づいて発話の意図を分類します。さらに「Dialog」サービスによる会話フローのプログラミング、そして「Retrieve and Rank」によるApache Solrを基盤とした検索・ランキング強化が解説されます。MicrosoftのCortanaやAmazonのAlexaとの設計上の比較も行われ、いずれも「発話のパターンをあらかじめ人間が定義する」という設計思想が共通していることが明らかにされます。[p.5, p.7, p.11]
第二の柱は、GoogleのTensorFlowの登場と、Deep Learningが自然言語にどのようにアプローチするかです。特にChristopher Olaが執筆した「Deep Learning, NLP, and Representations」を参照軸として、Word Embeddingsの概念と、それが持つ驚くべき言語的・意味的な規則性（「king – man + woman ≈ queen」など）が詳述されます。[p.79, p.80, p.101]
TensorFlowは2015年11月にApache 2.0ライセンスでオープンソース化されたGoogleの第二世代の機械学習システムであり、データフローグラフを基盤とした柔軟なプログラミングモデルを持ちます。セミナーではWhite Paperの全章が日本語で詳解されており、技術的な深さと網羅性において際立っています。本講義全体を通じて、「知能をプログラムすること」と「知能を演ずることをプログラムすること」は本質的に異なるという洞察が通奏低音として流れています。[p.15, p.117, p.119]
—
講義のロードマップ
ここでは、セミナーの講演資料がどのようなパートから構成されているかを示します。また、それぞれのパートのポイントを紹介します。
■ Part 1: Watson API — 新旧Watsonの比較と対話システムの設計
IBMのWatson APIは、Jeopardy！で活躍した旧Watsonの「後継」として語られることが多いが、著者はその本質的な違いを鋭く指摘します。旧Watsonが単独の質問に対して複数の評価エンジンを総動員して答えを絞り込む「質問回答システム」であったのに対し、新Watson APIは人間との自然言語による対話を可能にするサービス群であり、デフォルトの知識を一切持たないプラットフォームです。この転換は、「汎用的な知能」から「特定タスク向けの知能を演ずるシステム」への移行を意味します。[p.11, p.13, p.15]
■ Part 2: Cortana・Alexaとの比較 — 対話システム設計の共通構造
MicrosoftのCortana、AmazonのAlexaは、いずれも「発話→Intent名→処理」という設計パターンを採用しています。Watson DialogのGrammarタグ、CortanaのListenForタグ、AlexaのSampleUtterances.txtは、いずれも「あらかじめ人間が想定した発話パターン」に基づいており、本質的な汎用性を欠くという限界を共有しています。[p.61, p.62, p.63, p.64]
■ Part 3: Deep LearningとNLP — Word Embeddingsと意味的表現
Christopher Olaの論考を軸に、Deep Learningが自然言語にアプローチする際の中核概念「Word Embeddings」が解説されます。語を高次元ベクトル空間に写像する関数Wを学習することで、意味的・文法的な規則性がベクトルの差として現れる（例：W(“woman”)-W(“man”) ≈ W(“queen”)-W(“king”)）という驚くべき性質が明らかになります。これは「意味をデータから学ぶ」ことの可能性を示す決定的な証拠です。[p.82, p.90, p.101, p.103, p.104]
■ Part 4: Google TensorFlowの登場
2015年11月にオープンソース化されたTensorFlowは、GoogleのDistBeliefに続く第二世代の機械学習システムです。モバイルデバイスから数千GPUのクラスタまで同一コードで動作する「異種分散システム上の大規模機械学習」を実現するデータフローグラフモデルです。グラフ＝計算の記述、セッション＝計算の実行、テンソル＝グラフを流れる型付き多次元配列、という三つの概念が基盤をなします。[p.117, p.119, p.120, p.122]
■ Part 5: TensorFlow White Paper 全章精読（日本語訳）
TensorFlow White Paper（2015年11月9日版）の全12章が日本語で詳解されます。Inceptionモデル移植の教訓、分散実行のSend/Receiveノード挿入メカニズム、自動微分（勾配計算のグラフへの組み込み）、TensorBoardによるグラフと統計量の可視化、EEGによるマイクロ秒精度のパフォーマンストレースなど、Googleの実務的な知見が凝縮された内容です。[p.171, p.172, p.230, p.268, p.289, p.297]