講演資料


講義資料スライドの表紙

講義資料スライドの表紙です。スライド画像、または下の要約文中の青いページ番号リンクをクリックすると、別のタブで無駄なノイズのない、純粋なPDFビューア画面が起動し、指定されたページへ直接ジャンプして快適に閲覧できます。

全体概要

本セミナー「機械学習技術の現在」は、チューリングが1950年代に投げかけた根本的な問い「機械は考えることができるか？」[p.2] を出発点として、2015年時点における機械学習・AI技術の全体像を俯瞰的に把握することを目的としています。

近年の機械学習・AI技術の急速な発展は、現象的にはこれらの技術に対する人々の理解を難しくしており、空想的な楽観論と技術否定に通じかねない悲観論の両極に評価が振動する危険性をはらんでいます [p.6]。本セミナーはそうした状況に対して、技術の到達点と課題の概略を正確に伝えることを使命としています。

講師の丸山不二夫氏は、現在の機械学習・AI技術を単一の技術として捉えることを避け、四つの主要な潮流（A：統計的分析に基づく数値予測・クラス分け、B：ニューラルネットワークに基づく知覚・運動系アプローチ、C：経験的知識システムと言語能力、D：数学的・論理的推論能力）に整理することで全体像を明確化しています [p.10]。

特に本セミナーが深く踏み込むのは、B領域のDeep Learning・ニューラルネットワーク技術とそのハードウェア革命、C領域のパーソナル・アシスタント・システムの実装の実態、そしてIBM Watsonに代表される本格的な質問応答システムの技術的詳細です。現在のパーソナル・アシスタント・システムの多くは、知能を持つというよりも、「Turing Test Machine」と呼ぶべき見かけ上の知性を演じるに過ぎないという辛辣な評価が示される一方 [p.126]、WatsonはSlot Grammarによる深い構文・意味解析とPRISMATICによる大規模知識フレーム生成を組み合わせることで、それを超えようとする真摯な試みとして詳細に紹介されます [p.190], [p.253]。

さらにハードウェア面では、巨大サーバークラスターからGPU、FPGA、そしてIBM TrueNorthのような専用ニューロチップへと至る劇的なアーキテクチャの変化が論じられ [p.43], [p.44]、ニューラルネットワークを記述する専用言語（Torch、Caffe、Net#）の登場が、ソフトウェア開発のあり方を根本から変えつつあることが示されます [p.71], [p.72]。本セミナー全体を通じて強調されるのは、機械学習技術を理解するためには人間の学習・認知・言語能力そのものへの深い洞察が必要であるという、技術を超えた根本的な問いかけです。

講義のロードマップ

■ Part 0: 機械学習技術・AI技術を構成する複数の流れ

  • この部の核心:

現在の機械学習・AI技術は単一の技術体系ではなく、起源も方法論も異なる四つの潮流の複合体であるという認識を提示します [p.9]。この整理枠組みが、セミナー全体の見取り図として機能します。

  • 論理展開:
  • A：回帰分析・クラスター分析に起源を持つ統計的アプローチ。クラウド上の機械学習サービスの大部分がこれに属します [p.11]。
  • B：生物の視覚・聴覚神経回路に起源を持つニューラルネットワーク。文字認識・画像認識・自動運転に大きな成功を収めています [p.12]。
  • C：パーソナル・アシスタントや知識データベース、機械翻訳など人間の言語能力・経験的知識に関わるアプローチ。「人工知能の本丸」と位置づけられます [p.13], [p.14], [p.15]。
  • D：定理証明支援システム（Coq等）に代表される数学的・論理的推論アプローチ。現在のAI研究の主流ではないものの、その有効性は否定されません [p.16]。

■ Part 1: データの統計的分析をもとに、数値予測・クラス分けを行うアプローチ

  • この部の核心:

本Partは前年度のマルレク「エンタープライズと機械学習」[p.17], [p.18] への参照として位置づけられており、Gradient Descent、Decision Tree、Boosted Decision Tree、Support Vector Machineといった主要アルゴリズムの概要と、Azure MLを用いた具体的なユースケースが示されます [p.19], [p.20]。

  • 論理展開:
  • Gradient Descentは損失関数の極小点を反復的に探索する最適化手法であり、局所的極小値に陥るリスクを持ちます [p.20], [p.21]。
  • クレジットリスク予測・自転車の時間貸し需要予測・感情分析・学生成績予測など多様な実業ユースケースが例示されています [p.23]。
  • 機械学習の多くのアルゴリズムは「最小化問題」に帰着し、量子アニーリングコンピュータ（D-Wave）のアプローチとも課題が共通しています [p.25]。

■ Part 2: ニューラル・ネットワークに基づく感覚・運動系へのアプローチ

  • この部の核心:

本Partはセミナーの技術的核心のひとつであり、ニューラルネットワーク研究のトピック、ハードウェアアーキテクチャの急速な変化、そしてネットワーク記述言語の登場という三つの観点から、ディープラーニング技術の現状を詳述します [p.27]。

  • 論理展開:

トピック群:

  • MS ResearchのProject Adamは1,400万枚の画像を22,000カテゴリーに分類し、「Googleの猫」マシンより1/30のリソースで50倍高速、2倍の精度を実現しています [p.31], [p.32]。
  • Google自動運転カー（2015年公道実験開始）[p.33]、Boston Dynamics LS3 [p.37]、Google Deep Dream [p.39] など知覚・運動系への応用が広がっています。

ハードウェアの変化:

  • Server Cluster → GPU → FPGA → 専用チップという劇的な小型化・省電力化の流れが進んでいます [p.43], [p.44]。
  • 2012年の「Googleの猫」論文では1,000台・16,000コアのクラスターを要した処理が [p.45], [p.47]、2013年にはGPUを使った2万ドルのシステムで実現可能となりました（消費電力も600kWから4kWへ）[p.50], [p.51], [p.53]。
  • MSのCatapult（FPGA）は処理能力1/6ながらエネルギー効率9倍を達成しています [p.54], [p.61]。
  • IBM TrueNorthは54億トランジスタ・100万ニューロン・2億5,600万シナプスを持つ専用ニューロチップで、63mWという驚異的な低消費電力を実現しています [p.62], [p.63]。ただしLeCunはそのバイナリ発火モデルの表現力を批判しています [p.66]。

ネットワーク記述言語:

  • LeNet（1989年）からAlexNet（2012年）、GoogLeNet/VGG（2014年）へとConvolutional Netが深化する中、ネットワーク構造を宣言的に記述する言語の必要性が高まっています [p.73], [p.74], [p.75]。
  • Torch：FacebookのFAIRが提供するオープンソース。Tensor演算からGPU実行、nn.Sequential等による層の積み上げ記述まで一貫したフレームワークです [p.76], [p.77], [p.78], [p.79]。LeNet5相当のネットワークをわずか数行で記述できます [p.81], [p.82]。CIFAR-10データセットを用いた訓練・テストの全ステップが示されます [p.83]〜[p.88]。FFTベースのConvNet実装で公開最速比23.5倍の高速化を達成しています [p.94]。
  • Caffe：UC Berkeley発のオープンソース。Protocol Buffer形式でネットワーク構造を定義し、1枚のNVIDIA K40で1日6,000万枚以上の画像処理が可能です [p.97], [p.99]。Vision Layers（Convolution、Pooling）[p.109], [p.110]、Loss Layers [p.111]、Data Layers [p.113] などが仕様化されています。
  • Net#（Azure ML）：`all`・`where`・`convolve`・`max pool`等のキーワードで結合バンドルを宣言的に定義します [p.117], [p.118]。コンピュータビジョン向け複数隠れ層や畳み込みネットワークの記述例が示されます [p.120], [p.121]。

■ Part 3: パーソナル・アシスタント・システムの現在

  • この部の核心:

Google Now、Siri、Microsoft Cortana、Amazon Alexaを代表例として、現在のパーソナル・アシスタント・システムの実装の実態を技術的・批判的に検討します。その多くは真の知性ではなく、音声認識とパターンマッチングに基づく「Turing Test Machine」に過ぎないという評価が核心となります [p.125], [p.126]。

  • 論理展開:

Google Now:

  • 音声質問応答システムとしてのAPIは非公開であり [p.128]、公開されているのはカードベースのユーザー支援システムの拡張APIです [p.129]。Google Nowの「下半身」はGoogle検索・Knowledge Graph・広告ビジネスと深く融合しており、その「秘密」が公開される可能性は低いと論じられます [p.132], [p.133]。
  • 2012年のKnowledge Graph導入により、検索はURL文字列リストの返却から「知識の検索」へと本質的に変化しました [p.133]。

Siri:

  • APIは非公開。SiriProxyによるパケット解析で内部プロトコルが研究されましたが、iOS7以降は対応していません [p.137], [p.138]。

Microsoft Cortana:

  • VCD（Voice Command Definition）XMLファイルにListenFor（聞き取りパターン）・Feedback（音声応答）・Navigateを定義するプログラミングモデルを採用しています [p.140], [p.141]。英語・フランス語・中国語等の多言語対応が示されます [p.145]。PhraseList（固定語彙）とPhraseTopic（自由発話）を組み合わせた柔軟な認識設計が可能です [p.149]。アプリの起動時にVCDをインストールし、イベントドリブンでVoice Commandを処理するプログラミングスタイルが詳説されます [p.152], [p.153], [p.154]。

Amazon Alexa:

  • SampleUtterances.txt（発話→Intent名へのマッピング）とIntentSchema.jsonの組み合わせでスキルを定義します [p.167], [p.177]。Speechletインタフェース（onSessionStarted、onLaunch、onIntent、onSessionEnded）を実装するAndroid流イベントドリブンモデルで、Amazon Lambda上で動作します [p.171], [p.172]。HelloWorldサンプル [p.170]〜[p.176]、HistoryBuffサンプル（WikipediaのAPIを呼び出してイベントを読み上げ、セッションをまたいでページネーション管理）[p.179]〜[p.369]〜[p.385]、ScoreKeeperサンプル（DynamoDBにスコアを永続化）[p.180]〜[p.386]〜[p.402] が詳細に示されます。

言語能力との接続:

  • ChomksyのFLB/FLN（Faculty of Language Broad/Narrow）モデルを援用し、現在のニューラルネットワークベースのSpeech Recognition・Text-To-Speechは言語能力を構成する「感覚・運動システム」の機械実現として成功しているものの、概念・志向システムとrecursionを含む深い言語能力（FLN）の実現にはまだ遠い距離があると論じられます [p.183], [p.184]。

■ Part 4: IBM Watsonは、何をしているのか？

  • この部の核心:

2007年開発開始、2011年に人間チャンピオンを破ったJeopardy!優勝システムWatsonの技術的詳細を解剖します [p.190]。自然言語処理・知識抽出・証拠評価・型付けという多段階パイプラインの全体像が、複数の原著論文に基づいて詳述される、本セミナー最大のボリュームを持つPartです。

  • 論理展開:

処理の全体フロー:

  • 質問の分析 → 答えの候補生成 → 候補と証拠の評価 → 最終判断という大きな流れで処理が進みます [p.191], [p.192]。

ESG（English Slot Grammar）による構文・意味解析:

  • Michael C. McCord開発のSlot Grammarを基盤とし、subj・obj・iobj等のSlotが文法的役割と意味論的引数役割の両方を担います [p.202], [p.203], [p.204]。"Mary gave John a book"のような文が論理式 ∃e∃y(book(y) ∧ give1(e, Mary, y, John)) として形式化されます [p.205], [p.206]。表層構造（Tree Line・Slot・Features）と深層構造（Word Senses・Arguments）の二層解析が行われます [p.216], [p.217]。

質問分析（Focus・LAT・QSection）:

  • Focus（答えを指す質問内の語句）、LAT（Lexical Answer Type：求められる答えの型）、Question Classification（質問タイプ）、QSections（特殊処理が必要な部分）の四要素が抽出されます [p.194], [p.195]。Focus検出・LAT検出の具体的ルールが例示されます [p.237], [p.238], [p.239], [p.240]。PrologとUIMA（Unstructured Information Management Architecture）のCAS（Common Analysis Structure）を用いてルールが実装されています [p.242], [p.243], [p.244]。

PASビルダー:

  • ESGの解析結果を単純化・抽象化して述語引数構造を抽出するPAS（predicate-argument structure）ビルダーが、大量データ処理の効率性を確保します [p.248], [p.249]。Jeopardy!問題のESG解析とPAS解析の対比が示されます [p.250], [p.251]。

PRISMATIC（知識フレームの自動抽出）:

  • 30GBのWikipedia等ドキュメントから10億個もの知識フレームを事前に生成します [p.253], [p.262]。S-V-O構造を基本としたフレームから、動詞の目的語の型統計情報（例："annex"の目的語は「地域」型が多い）が集積されます [p.263]。この統計情報がLAT推定にも活用されます [p.265]。

答えの候補生成（Search & Candidate Generation）:

  • 形式的推論でなく、LuceneやIdrisを用いた全文文字列検索から答えの候補（仮説）を複数生成するアプローチを採用しています [p.268], [p.269], [p.270], [p.272]。Wikipediaの見出語をそのまま答え候補とするパターンなど複数の候補生成戦略が示されます [p.273], [p.278], [p.279]。

Type Coercionによる候補評価（TyCor）:

  • "generate-and-type"アプローチにより、生成された答え候補に型付けを行い、質問から求められるLATとの一致度でスコアリングします [p.285], [p.286], [p.287], [p.288]。例："General Foods"はisA("General Foods","city")=0.1、"Battle Creek"はisA("Battle Creek","city")=0.8と評価されます [p.289], [p.290]。TyCorモジュールはEDM・TR・PDM・Type Alignmentの内部モジュールで構成されます [p.291], [p.292]。

テキスト証拠の収集と評価（SER）:

  • 答え候補をキーワードに追加した二度目の全文検索で証拠文（Passage）を収集し、四つのScorerで評価します [p.294], [p.296]：Passage Term Match Scorer（キーワード一致数）[p.297]、Skip-Bigram Scorer（語ペアの近接）[p.298]、TACS（テキストアライメント）、LFACS（論理形式マッチング）[p.300], [p.301]。1問題に対して100候補×100証拠×100評価＝百万オーダーの処理を数秒で完了します [p.198]。

関係抽出（DeepQA Relation Extraction）:

  • ルールベース（約30種類の関係、高精度）と統計的アプローチ（約7,000種類の関係、DBpedia訓練データ62万サンプル）の相補的な組み合わせを採用しています [p.305], [p.306]。Relation Topicは既存のDBpedia関係上の多項分布として定義され、関係間の相関を教師なし学習で自動構築します [p.314], [p.315]。

知識グラフ（Wikipedia Infobox・DBpedia）の活用:

  • Infoboxのタグ付きデータからDBpediaが構造化RDFトリプルを自動生成し [p.221], [p.222], [p.223]、Google Knowledge Graphの要約表示にも活用されています [p.226], [p.227]。ただし現状では全ページをカバーするPageRankのような普遍性はまだ持っていません [p.229]。

■ Part 5: IBM TrueNorth Chip

  • この部の核心:

フォン・ノイマン型アーキテクチャとは根本的に異なる、脳構造にインスパイアされた非フォン・ノイマン型専用チップ TrueNorthの設計思想とプログラミングモデルを紹介します [p.321], [p.322]。現在のGPU・FPGAベースのアプローチとは異なる長期的可能性を示す萌芽的技術として位置づけられます。

  • 論理展開:
  • 4,096コア・100万ニューロン・2億5,600万シナプス・54億トランジスタ構成で、400×240ピクセル毎秒30フレームのビデオ処理をわずか63mWで実現します [p.323]。フォン・ノイマンボトルネック（プロセッサとメモリの分離によるデータ移動コスト）を回避するため、メモリ・計算・通信を強く結合した分散モジュール構成を採用しています [p.324]。
  • プログラミング言語 Corelet はオブジェクト指向言語であり、コア内部のシナプス設定を隠蔽したCorelet単位の階層的コンポジションを可能にします [p.330], [p.333], [p.334]。MCR（Music Composer Recognition）コードサンプルでは、LSM（Liquid State Machine）とSC（Stackable Classifier）という二つのサブCoreletを結合してバッハとベートーベンを識別するシステムが示されます [p.345], [p.346], [p.347], [p.348]。
  • シミュレータCompassはTrueNorthと完全等価な動作をするソフトウェアですが、Blue Gene 16ラック・26万コア・256TBという巨大システムが必要です [p.337], [p.338], [p.340]。膨大な電力を消費する16ラックシステムと、スマートフォンのバッテリーで一週間動く小型チップが同一の処理を行うという対比が強調されます [p.341]。
  • Henry Markramによる批判（Appendix）として、現在のニューロチップのモデルは実際の生物ニューロンの複雑さ（イオンチャンネル・タンパク質相互作用・シナプス非線形性等）の数百万分の一しかシミュレートしていないという根本的な限界が指摘されます [p.354], [p.355], [p.356], [p.357], [p.358], [p.359], [p.360]。