セミナーの特徴

ChatGPTの登場から、約一年が過ぎようとしています。その衝撃が冷めやらぬ今また、大きな変化が起きようとしています。11月6日のOpenAI DevDayの発表は、ChatGPTの変化の方向をはっきりと示しました。

その内容については、多くの報道がなされ、沢山のセミナー・勉強会が行われていて、多くの人は既にご存知だと思います。

今回の丸山のセミナーも、基本的には、これらの報道・各種セミナーと同様に、このOpenAIの発表にインスパイアされたものです。ただ、切り口は少し違っていると思います。今回のセミナーは二つの特徴を持っています。

第一の特徴は、今回のセミナーは、今回のOpenAIの発表の意味を大規模言語モデルの技術の進化の中で、位置付けようとしていることです。

これからもAI技術の進化は続くと思います。それは、それまでの達成と問題を踏まえ次の変化を生み出すというドラスティックなものになるでしょう。その中で、現在の変化をもたらしたものを、その基礎から歴史的に振り返ることは重要なことだと僕は考えています。

今回のセミナーは、AI技術の変化を振り返り、それを基礎から捉え返す機会になると思います。

第二の特徴は、今回のOpenAIの発表には、非常に多岐にわたる内容が含まれているのですが、今回の丸山のセミナーは、その中で二つのことにフォーカスしようとしています。

一つは「AIのマルチモーダル化」で、もう一つは「AIがカスタマイズ可能になること」です。この二つは、AIと人間の未来での関係を考える上で、重要なステップになっていくと僕は考えています。

今回のセミナーでは、AI技術の過去を振り返るとともに、その未来を展望する学びの場になることを願っています。

セミナーの構成

第一部　大規模言語モデルの成立とChatGPTの成功の背景

AttentionメカニズムとGoogle機械翻訳

( スライドのpdf blog:「大規模言語モデルの母胎は「翻訳モデル」」

TransformerとBERT

( スライドのpdf 　blog:「大規模言語モデルの基礎」)

ChatGPTの成功と「人間のフィードバックからの強化学習」の導入

( スライドのpdf 　blog:「何がChatGPTの成功を可能にしたのか」)

AIの危険性の認識とModel Refusalという手法

( スライドのpdf 　blog:「Interlude — AIと人間の関係を考える」)

第二部　AIのマルチモーダル化の進行

Google Vision Transformer

( スライドのpdf 　blog:「画像処理でのGoogleとOpenAIのアプローチの違い」)

第三部　AIのカスタム化の動向

GPTをAI Assistantアプリにカスタマイズする

( スライドのpdf 　blog:「AI利用のインターフェースを劇的に変えるAI Assistant アプリ」)

GPTをAI Assistantアプリにカスタマイズする API編

GPTをAI Assistantアプリにカスタマイズする API編 PDF Viewer

質疑応答

問題提起と司会　角川アスキー総研　遠藤諭 氏

未来展望について

AIの未来展望については、非常に楽観的なものですが、11月23日に開催される日本Androidの会のイベントABC Autumn での丸山の基調講演「Be My AI !」でお話させていただきます。

The post ChatGPTはどう変わろうとしているのか？ first appeared on MaruLabo.

概要：https://lab-kadokawa83.peatix.com/
資料1：「初めてディープラーニングを学ぶ人のための数学入門 — ニューラルネットで行列を理解する」　http://bit.ly/2xzISbB

資料2:「Convolutionの計算を視覚化する」　http://bit.ly/2JiWPkM

資料3:「Tensor Network入門」　http://bit.ly/32dw2hj

資料4:「Convolutionを図式化する」
http://bit.ly/2XC1sdS

参考資料 – Youtube動画

「テンソルとは何か？ Tensor Network 入門（１） — ベクトル編」
https://youtu.be/rAGWJcT1lCs
「テンソルとは何か？ Tensor Network 入門（２） — 行列編」
https://youtu.be/tjxqLprW6HY
「テンソルとは何か？ Tensor Network 入門（３） — 3-テンソル編」
https://youtu.be/LhacbmHsCyQ
「テンソルとは何か？ Tensor Network 入門（４） — テンソル編」
https://youtu.be/bZuuSQG_WNo
「テンソルとは何か？ Tensor Network 入門（５） — Contraction編」
https://youtu.be/ghvV-UwpSlM
「テンソルとは何か？ Tensor Network 入門（6） — Convolution編-I」
https://youtu.be/qqk-MOnZe8o
「テンソルとは何か？ Tensor Network 入門（７） — Convolution編-II
Convolutionを図式化する」
https://youtu.be/GOClGME9CdI

「ディープラーニングでのConvolutionの計算を視覚化する（１）」
https://youtu.be/IwUD4ca_nXQ
「ディープラーニングでのConvolutionの計算を視覚化する（２）」
https://youtu.be/2LJTM0zyHSQ

The post 初めてディープラーニングを学ぶ人のための数学入門 — ニューラルネットで行列を理解する first appeared on MaruLabo.

2019/04/21 「紙と鉛筆で学ぶ量子コンピュータ入門演習」へのお誘い

このセミナーは、2017年、2018年に開催され、好評だった『紙と鉛筆で学ぶ量子情報理論基礎演習』のタイトルを『紙と鉛筆で学ぶ量子コンピュータ入門』に改めたものです。同じタイトルで、何度かセミナーを開催しました。画像は、2019年2月のものです。

量子コンピュータについての関心が高まっています。
ただ、なかなか近づき難そうな印象を持っておられる方も多いと思います。

それには理由があります。それは、ほとんどの人は、いままでどこでも、量子コンピュータについて学んだことがないからです。量子コンピュータは、その基礎から学べば、決して難しいものではないと、丸山は考えています。

ただ、量子コンピュータの基礎を理解するには、準備が必要です。その一番の近道は、高校で習う程度の易しさの簡単な行列の計算になれることだと考えています。6時間ほどの演習で、その基礎は習得できます。

量子コンピュータの振る舞いを理解するには、本を読んだり人の話を聞くだけではなく、実際に自分の頭で考えて自分の手を使って、具体的には必要な「計算」を行なってみることが大事だと考えています。本セミナーが、「紙と鉛筆で学ぶ」とタイトルに掲げているのは、そうした考えからです。

基礎がわかれば、量子コンピュータの理解は、飛躍的に広がります。逆に言えば、そこを通過しなくては、量子コンピュータや量子アルゴリズムを理解することは、とても難しくなります。

本セミナーには、すでに、延べで350名近くの人が参加しています。
あなたも、参加して、量子コンピュータの基礎を学びませんか？

Part I 「量子論の成立と発展」

Part I 概説

量子の世界 — 実験で明らかになったこと

20世紀の初め、アインシュタインは、光を金属に当てると電子が飛び出すという光電効果の現象が、光を波と考えては説明できず、光を波長に比例したエネルギーをもつ粒子だと考えると説明できることを示す。
粒子である電子も、二重スリットで干渉縞を示し、粒子性と波動性の二つの性質を持つことが明らかになる。

量子論の成立– 重ね合わせと観測の確率解釈

20世紀の20年代、シュレジンガー、ハイゼンベルグ、ディラックらが、これらの実験結果を説明できる理論を提出し、量子論が成立する。その後、フォン・ノイマンが、その数学的・形式的な定式化を完成する。

量子論の発展– 量子もつれ エンタングルメントの発見

重力を一般相対性理論で時空の性質として説明することに成功したアインシュタインは、量子論に満足せず、1935年、量子の「もつれ合い」という奇妙な現象を発見する。
「量子もつれ」は、量子のあいだに特別の相関関係が生まれる現象である。アインシュタインは、量子論の矛盾を示すものとして、これにに注目していた。

物理学の現在

量子コンピュータの話題とは別に、物理学の中で、量子情報理論に対する関心が高まっている。

Part I 講演資料 （ダウンロード）

Part II 「qubitを理解する三つの原理」

Part II 概説

量子力学と量子情報理論

量子力学は、物理学の一分野である。それは、自然の実在的な物質を対象として、物質の運動法則の解明を目指す。
量子ゲート型の量子コンピュータの基礎理論に限るならば、それが主要な対象としているのは、二つの状態の重ね合わせであるqubitから構成される抽象的な系である。その理論構造は、比較的、単純なものである。小論が扱うのは、その範囲である。
量子情報理論は、量子論から派生したものである。ただ、量子情報理論の応用は、量子ゲート型の量子コンピュータの基礎に限られているわけではない。
近年の物理学では、ブラックホールの情報問題や、エンタングルメントのエントロピー論が、大きな関心を集めている。それは、量子情報理論を基礎理論として、物理学を再構成しようとする流れが生まれているように見える。

qubitを理解する三つの原理

ここでは、問題を大幅に単純化して、次の三つの原理で、量子コンピュータの基礎を述べて見ようと思う。

1. 重ね合わせの原理
2. 観測の原理
3. ユニタリー発展の原理

Part II 講演資料（ダウンロード）

Part II 解説動画

重ね合わせの原理

ユニタリー発展の原理

観測の原理

量子コンピュータを理解するのに、なぜベクトルと行列の計算が必要なのか?

量子の状態は、ベクトルとして表現される。
量子の状態の変化は、ベクトルの変化として表現される。
あるベクトルを他のベクトルに変化させる作用を持つものを「演算子」という。
演算子は、行列で表現される。

量子の状態Aが状態Bに変わったとしよう。それは、量子の状態ベクトル|A>が状態ベクトル|B>に変わったということ。
この変化を引き起こした演算子をUとすると、 |B> = U(|A>) = U|A>
と書くことができる。ここで、|A>, |B>はベクトルで、Uは行列である。

Part II-2 「重ね合わせの記述とket記法」

Part II-2 概説

ここで学ぶこと

1. 量子の状態は、複素ベクトルの重ね合わせで表現される。
2. 量子の状態の記述には、ket記法が極めて有用である。
3. ＜bra|ket＞で内積を、|ket><bra|で外積を表す。

内積のBraとKetでの表現

正規直交基底　　

成分を取り出す

外積演算子

Part II-2 講演資料　（ダウンロード）

Part III 「観測とエルミート演算子」

Part III 概説

ここで学ぶこと

1. 線形演算子は、行列で表現される。
2. H=H† である時、Hをエルミート行列という。
3. エルミート演算子の固有値は、実数である。
4. エルミート演算子の固有ベクトルは直交基底をなす。
5. 正規行列のスペクトル分解
6. 観測値の平均は、＜A|L|A＞で与えられる。

Qubitの観測

線形演算子

固有ベクトルと固有値

エルミート演算子

正規行列とスペクトル分解

観測の期待値

Part III 講演資料　（ダウンロード）

Part III 解説動画

観測と射影演算子

エルミート演算子とユニタリ演算子

Part IV 「量子の状態変化とユニタリ演算子」

Part IV 概説

ユニタリ行列

スペクトル分解の応用

時間発展の演算子

Part IV 講演資料　（ダウンロード）

Part IV 解説動画

スペクトル分解定理

Part V 「n-qubit システムとしての量子回路」

Part V 概説

ここで学ぶこと

1. 量子の状態は、ユニタリ変換で変化する。
2. 量子ゲートとは、数学的なユニタリ変換を「物理化」したものである。
3. 直列に接続された量子ゲートの作用は、対応するユニタリ行列の積で表現できる。
4. 並列に接続された量子ゲートの作用は、対応するユニタリ行列のテンソル積で表現できる。
5. Bell State ゲートについて

1-qubit ゲート

ゲートを直列に組み合わせる

2-qubitのゲート

テンソル積 — 独立した二つのシステムを一つのシステムと考える

CNOTとテンソル積

ゲートを並列に組み合わせる

Part III 講演資料　（ダウンロード）

Part VI 「エンタングルメント」

Part VI 概説

エンタングルメント

部分的な観測

Bell State ゲート

Bell State ゲートの働きを暗算で計算する

No Clone 定理

Part VI 講演資料 （ダウンロード）

演習問題解答

次のステップへ

ケット記法に習熟する　「ケット |k> で理解する量子の世界」

量子ゲートでエンタングルメントをハンドルする 「量子ゲートで学ぶエンタングルメント」

密度行列を使う　「密度行列 ρ で理解する量子の世界」

The post 紙と鉛筆で学ぶ量子コンピュータ入門演習 first appeared on MaruLabo.

セミナー：2018年12月14日 角川連続セミナー「人工知能を科学する」

セミナー概要

科学と哲学の違い

連続ナイトセミナー「人工知能を科学する」の最終回のテーマは、「人工知能と哲学」です。「人工知能を科学するのに、哲学必要ですか？」と思われた人も少なくないと思います。たしかに。

　科学や数学は、確立された体系（少なくとも「これまでに確立された」という意味ですが）を持っています。その成果は、多くの人に等しく共有されています。今では誰もが、「地球が太陽のまわりを回っている」「リンゴが木から落ちるのは重力があるから」と考えています。もちろん「1+1=2」で「直角三角形ではピタゴラスの定理が成り立つ」ことも。そういう知識のあり方を「累積的知」と呼ぶことがあります。

　哲学には、残念ながら、確立された体系も万人が認める真理も存在しないように見えます。人によって物事の捉え方が異なるのですから、哲学にも色々な立場があります。「残念ながら」と書きましたが、それはそれでいいことだし、これからも哲学が「完成」するようには思えません。

　そうした意味では、科学と哲学は、かなり違っています。

科学と哲学との接点は広い

　ただ、科学と哲学は、想像以上に広い接点を持っています。それは、おそらく、技術がビジネスや経済合理性と強い結びつきを持っているのと同じだと思います。「科学と哲学」と「技術とビジネス」の二つの結びつきをくらべれば、その結びつきのの質はずいぶん違うし、「科学と哲学」のつながりはあまり意識されることは少ないのですが。

　科学も数学も「発展」して、その体系を「更新」します。現在の科学が全ての問題に解答を用意しているわけではないのです。現在の科学では説明できない「謎」の存在こそ、科学を発展させる原動力です。「謎」に立ち向かうには、様々な「立場」、ある場合には矛盾する「仮説」が必要になります。そのような局面では、科学者も哲学していると考えていいのだと、僕は考えています。

セミナーでお話しすること

　今回のセミナーでは、三つの話をしようと思います。

ペンローズの「量子脳」理論

　一つ目は、「コンピュータは人間を超える」という「シンギュラリティ論」や、「そんなことはない。人間の脳の働きはコンピュータのアルゴリズムを超えている」というペンローズらの「量子脳」理論を、「計算主義」の立場から批判してみようと思います。

認識能力に対する「形式主義」

　二つ目は、言語の意味の理解を例に、文法の理論と双対の意味の理論が必要だという話をします。それは、計算主義の拡張なのですが、計算自体を対象にした形式的なメタ計算理論になります。そうしたアプローチは、認識能力に対する「形式主義」と呼んでいいものだと考えています。

還元できないものと「エマージェント（創発）」

　三つ目は、感情や信念、自己意識・自由意志、芸術や宗教など、「計算主義」的な「還元主義」あるいは「形式主義」的「抽象化」ではカバーできない人間の諸能力・諸活動はたくさんあります。これらをどう考えるのかという話ができたらと思います。「エマージェント（創発？）」というコンセプトを紹介できればと思います。 　

講演資料

Part I　この間、人工知能について考えたこと

Part II　ペンローズの「計算主義」批判

Part III　意味の形式的理論モデル論的アプローチ

The post 人工知能と哲学 first appeared on MaruLabo.

2018/11/19 「人工知能と量子コンピュータ — NP-完全問題とその含意」概説

　量子コンピュータが、人間の認識の「限界」をどのように拡大するかは、人工知能の未来を考える上で、重要な問題です。

　BQP（量子コンピュータで多項式時間で解ける問題のクラス）が、P（古典的コンピュータで多項式時間で解ける問題のクラス）を完全に包含していることの発見と、その応用としてのShorの素因数分解アルゴリズムの発見は、今なお、量子複雑性理論と量子アルゴリズムの金字塔です。

　残念なことに、多くの数学者は、複雑性の階層の中のNP完全のクラスは、BQPに含まれないだろうと考えています。

　ただ、NP完全の問題に、量子コンピュータが、「近似的」に取り組むことは可能です。講演では、こうした「量子最適化」と呼ばれる問題群（QAOAあるいはVQE）の取り組みを紹介しようと思います。

　新しい量子アルゴリズムの発展はめざましいものがあるのですが、講演では、もう一つのトピックとして、これらの取り組みで多く利用されている、QRAM（量子ランダムアクセスメモリー）というアーキテクチャーを紹介します。

資料の構成

Part INP-完全問題とその含意

• 人間と機械の「認識可能性」の認識の拡大
• NP-完全問題 手におえない問題の存在
• Cook-Levin Theorem: SATはNP完全である
  • Karp: 多項式時間で還元可能なNP完全問題
  • Clique 問題
  • Graph Coloring 問題
• Hamiltonian Path 問題
• 実際に実装されているNP-完全問題のプログラム
• 量子断熱コンピュータとNP-完全問題
• 量子断熱コンピュータと量子ゲート型コンピュータとの「等価性」

Part II広がる量子アルゴリズムの世界– BQP-完全問題とQRAM　

• 量子組み合わせ最適化 QAOAとVQE
• 量子アニーリング
• 量子ディープラーニング
• QRAMと量子逆行列変換　HHLアルゴリズム
• QRAMとは何か？
• 半正定値プログラミング
• 量子リコメンデーション

講演資料　（ダウンロード）

The post 人工知能と量子コンピュータ first appeared on MaruLabo.

2018/10/26 「人工知能と自然言語」概要

セミナー紹介

　自由に言語を操る人間の能力を機械で実現することは、人工知能研究にとって、大きな目標の一つです。おそらくそれは、人工知能研究の「究極」の目標になるだろうと僕は考えています。他の動物にはない人間の「知能」の核心部分を構成しているのは、人間の言語能力に他ならないと考えているからです。

　ここ数年で、この分野では大きな前進がありました。Googleのニューラル機械翻訳やAlexa等の音声インターフェースを備えたパーソナル・アシスタント・システムの登場は、画期的なものです。今回のレクチャーでは、「自然言語とコンピュータ」をテーマに、この分野の取り組みを概観したいと思います。コンピュータによる自然言語処理に興味を持つ人だけではなく、広く人工知能技術の現在の到達点に関心を持つ人にも、有益な情報を提供したいと考えています。ご期待ください。

　第一部では、ディープラーニング技術からのこの分野のアプローチを紹介します。ここでの目覚ましい成果は、ディープラーニング技術の機械翻訳への応用です。また、「文章題」で小学生程度の「推論」能力を機械に持たせようという、bAbi（「ベイビー」と読むようです）データセットをめぐるGoogle, Facebookの取り組みについても紹介しようと思います。

　第二部では、Amazon Echo, Google Home等の、パーソナル・ボイス・アシスタントの取り組みの現状を紹介します。正確にいうと、この両者は、言語について多少異なるアプローチをとっているのですが、第一部で取り上げるディープラーニングに基づいたアプローチとは、明確に異なる技術に基づいていることには注意が必要です。同時に、両者ともに、Schema.org の提供するEntity モデルに依存しています。

　第三部では、「文法」に基づいてコンピュータで「文」を生成しようという取り組みを紹介します。主要には、言語学の世界で生まれたアプローチで、コンピュータ上での実装では遅れていますが、コンピュータで可能な「計算」として言語能力のモデルを作ろうという試みは、興味深いものです。こうした「計算主義的言語理論」の代表として、Lambekのカテゴリー文法とChomskyの”Merge”の理論を紹介したいと思います。　　

「はじめに」から

自由に言語を操る人間の能力を機械で実現することは、人工知能研究にとって、大きな目標の一つである。おそらくそれは、人工知能研究の「究極」の目標の一つになるだろうとさえ、僕は考えている。他の動物にはない人間の「知能」の核心部分を構成しているのは、人間の言語能力に他ならないと考えているからである。
ここ数年で、この分野では大きな前進があった。Googleのニューラル機械翻訳やAlexa等の音声インターフェースを備えたパーソナル・アシスタント・システムの登場は、機械による自然言語処理の歴史の中で、画期をなす出来事といっていい。
こうした前進を踏まえて、我々は、人間の言語能力の解明に着実に進んでいるのであろうか？とあらためて、問いかけることは意味があるように思う。

コンシューマ・レベルでのプロダクトの普及と人々の経験の広がりは、自然言語処理技術の可能性とともに、その未熟さを、多くの人に気付かせることになるだろうと僕は考えている。
それは、次の技術の飛躍を準備する重要な契機になる。現在の自然言語処理技術の現状を知ることは、次のステップに進む上で必要なことだ。

コンピュータで自然言語を扱うアプローチは、多様である。小論では、言語に対する現在の主要なアプローチを、　　　

1. ディープラーニング技術に基づくもの　　
2. 知識表現と検索技術に基づくもの　　
3. 計算主義的言語理論に基づくもの

と、大きく三つのタイプに分けて、それぞれの特徴と動向を紹介しようと思う。

第一、第二のアプローチについては、これまでのレクチャーで、たびたび述べてきた。小論では、第三の「計算主義的言語理論」に基づくアプローチの紹介に重点を置こうと思う。この第三のアプローチに関心を持っている人は、ITの世界では少ないと感じているからである。
僕自身は、文法的に正しい文をリアルタイムに受容し生成する言語能力を「計算能力」として捉える第三のアプローチに魅力を感じている。
ただ、総体として人間の言語能力を見たとき、「聴く・話す」といった、その「感覚・運動」的側面については、第一のアプローチが、意味や知識を活用する言語能力の「概念・思考」的側面については、第二のアプローチが有効だと考えている。

はじめに

講演資料　はじめに　（ダウンロード）

The post 人工知能と複雑性理論 first appeared on MaruLabo.

テーマ：「楽しい数学 — 好奇心から広がる数理の世界」

概要：https://lab-kadokawa57.peatix.com/

資料ダウンロード

• 前半：思考実験／ギリシャ数学
• 後半：非ユークリッド幾何

資料 Viewer 前半部分

資料 Viewer 後半部分

The post 楽しい数学 — 好奇心から広がる数理の世界 first appeared on MaruLabo.

角川アスキー総合研究所で、「ディープラーニング入門6時間集中講座」を初めて開催したのは、2年前のことになります。その時、僕は次のように書きました。

「人工知能」技術は、大きな社会的・ビジネス的インパクトをもって台頭しつつあります。現代の IT技術者にとって、この新しい技術を知ることは必須の課題です。それはまた、IT技術者の新しい常識ともいうべきものです。現在のIT技術の基本的なプラットフォームである、クラウドとスマートフォンの技術は、それぞれデータセンターと携帯電話の技術と、飛躍はあるものの、ある意味では連続的につながっています。ただ、多くのIT技術者にとって、人工知能技術は、全く新しいものです。課題は明確です。IT技術者は、新しい技術を学ぶところから始めなければなりません。

この二年間で状況はさらに変化しました。AlexaやGoogle Home等のボイス・アシスタンスは広く普及し、2020年を前に、日本でも自動運転車の本格的な取り組みが熱を帯びています。私たちの日常生活の一部に、AI技術は、確実に溶け込もうとしています。

AI技術について知ることは、単に「技術者の常識」だけではなく、遠くない未来には、現代に生きる我々皆が、身につけるべき「現代人の常識」になっていくのだと思います。ただ、それは意識的に学ばないといけないことで、自然に身につくものではありません。

AI技術に過大な期待を寄せる人や、AI技術に大きな不安を覚える人も、その両方が、むしろ増えているかもしれません。AI技術について、現在、何ができて何ができないのか、また、AI技術は何が得意で何が苦手なのかをキチンと知ることは、とりわけ重要なことです。

丸山自身の現在の関心は、ディープラーニングの後に、どのような人工知能技術が出てくるのかに向かっているのですが（例えば、2018マルレク第一回「ポスト・ディープラーニングの人工知能技術を展望する」）、こうした議論の前提としても、多くの人が、ディープラーニング技術について、よく知ることは意味があると考えています。

本講義では、ニューラルネットワーク技術の基礎として、主要に次の三つのテーマを取りあげます。

1. 一つ目は、多段のフル・コネクトなニューラルネットワーク。
2. 二つ目は、バックプロパゲーションによるパラメーターの学習機構。
3. 三つ目は、画像認識に大きな力を発揮するコンボリューショナル・ニューラルネットワークです。

こう書くと難しそうに感じる人もいるかもしれませんが、大丈夫です。説明はわかりやすいものになると思います。

第一部：ニューラル・ネットワークの基礎  

以下は、講演資料の第一部の構成を示したものである。この講座のコンテンツの本体は、講演資料である。講演資料に、丁寧な説明がある。

まず、学ぶことから始めよう！

まず、学ぶことから始めよう。
人工知能を作るには、人間の知能が必要であり、機械学習を知るためには、人間の学習が必要である。

様々なAI技術

A. 統計的分析に基づく、数値予測・クラス分け
B. 経験的に構築された知識・推論・対話システム
C. ニューラルネットワークに基づく、知覚・運動系へのアプローチ。Deep Learning
D.人間固有の言語能力の機械による実現
E. 人間の数学的・論理的な推論能力に関わるもの

モデルとしての生物のニューラル・ネットワーク

クラゲだって神経はある

「視覚」の誕生と発展

生物の進化の歴史の中で、「視覚」の能力は、5億年前の「カンブリア紀」に獲得された。それは、長い長い歴史を持っている。当時の食物連鎖の頂点に立っていた「アノマロカリス」は、立派な眼を持っていた。
「眼」の獲得、同じことだが、「視覚」の能力の獲得は、「捕食者」にとっても（獲物を見つける）、「被捕食者」にとっても（捕食者から逃れる）、その「生き残り」に、死活的に重要な意味を持つことになった。人間を含めて、すべての動物で、強い淘汰の圧力のもとで、視覚処理の能力は、高度に発達している。
同時に、この「視覚」の能力は、追いかける、捉える、あるいは、逃げるといった「運動能力」に深く結びついている

脳研究の取り組み

脳研究の取り組み

現在は、それぞれ異なった道を歩いているのだが、ニューラル・ネットワークの研究と脳研究とは、「人間の知能」の解明という共通の目標で結ばれている。ここでは、脳研究のいくつかの取り組みを紹介する。

ニューロンの働き

脳の働きも、最終的には、脳を構成する無数のニューロンの働きに帰着する。
コンピューター上のニューラル・ネットワークを構成する個々の「ニューロン」の動作原理は、生体のニューロンの働きをシミレートしたものである。

ニューラル・ネットワークとその表現 (1)

ニューロンは、いつ発火するのか？

あるニューロンが「発火」するかは、次のようにして決まる。

興奮性シナプスから受け取る信号の強さ全体 A から抑制性シナプスから受け取る信号の強さ全体 B を引いて、その値がある閾値 C より大きければ発火する。　　　　

　　　A – B > C 発火　　　　( A – B – C > 0 ）　　　　
　　　A – B < C 発火しない （ A – B – C < 0 ）

発火賛成と発火反対の多数決。ただし、賛成票が、ある一定数以上（閾値）、反対票を上回らないといけないというルール。至極、単純である。

　　　　賛成票 – 反対票 > 閾値　　発火　
　　　　賛成票 – 反対票 < 閾値　　発火しない

「重み」と「バイアス」

賛成票の数 Aをプラスの値に反対票の数 Bをマイナスの値 B’ にし、閾値 Cの符号を逆にして C’ （バイアス）とすると、発火の条件 A – B > C (すなわち、A – B – C > 0)は、 A + B’+ C’ > 0 の形になる。
各シナプスごとに異なる投票権の大きさを「重み」という。

興奮性シナプスはプラスの「重み」を持ち、抑圧性シナプスはマイナスの「重み」を持つと考えるということ。
一つの入力Xi（0か1の値をとる）には、それに対応した一つのシナプスが存在する。そのシナプスの重みをWiとすれば、この一つのシナプスの投票数は、入力 Xi に 重み Wi をかけたもの。

一つのニューロンの内部の状態の表現

一つのニューロンの内部の状態は、ニューロンがシナプスを通じて受け取る刺激である「入力」と、シナプスごとの「重み」と、発火の閾値に対応する「バイアス」の三つの量で表現できる。

複数のニューロンからなる一つの層の内部の状態の表現

複数のニューロンの集まりが、一つの「層」として、入力を受け取り出力を返すことがある。
この層の内部の状態も、この層が受け取る「入力の全体」と、シナプスごとの「重みの全体」と、層を構成するニューロンの閾値に対応する「バイアスの全体」という三つの量で表現できる。

ニューラル・ネットワークとその表現 (2)

ニューロンを動かす — 活性化関数 (Activator)

活性化関数は、その名前の通りに、一つのニューロンが発火（活性化）する時の条件と出力を関数の形で表したものである。いろいろな種類の活性化関数がある。

クラス分けのActivatorSoftMax

画像認識等のクラス分けの出力には、Softmaxという活性化関数がよく利用される

クラス分けの場合の出力に利用されるactivator。手書き数字画像の認識だと、提示された画像が0から9までの10個の数字のどれかだと判断しなければいけない。
ニューラル・ネットワークでは、こうした場合、出力層に、 0から9までの10個の数字に対応した10個のノードが並び、それぞれのノードの値が、「提示された画像がその数字である確率」であるようにする。
ノードごとに、確率を計算するのが softmax関数である。最終的には、10個のノードの中で、その確率が最大であるものが選ばれる。

ニューラル・ネットワークをグラフで表現する

複数のニューロンからなる一つの層を、グラフで表す

ここから、TensorFlowを使った、ニューラル・ネットワークの実装のスタイルを紹介する。
「グラフ」「演算ノード」「テンソル」というのが、基本的なコンセプトとなる。

複数の層からなるニューラル・ネットワークを、グラフで表す

もちろん、通常の表現でも、ニューラル・ネットワークはグラフとして表現される。ただ、TensorFlowのグラフは、それをさらに単純化する。
そうした単純化されたグラフ表現は、TensorFlowの大きな能力である。そのことと、グラフを流れる「テンソル」というデータの捉え方とは、結びついている

講演資料　第一部　（ダウンロード）

第二部：ニューラル・ネットワークは、どう「学習」するのか？

講演資料　第二部　（ダウンロード）

第三部：ニューラルネットワークによる 画像認識技術 

講演資料　第三部　（ダウンロード）

講演資料 一括ダウンロード

The post ディープ・ラーニング 6時間集中講義 first appeared on MaruLabo.

テーマ：「ポスト・ディープラーニングの人工知能技術を展望する」

概要：https://lab-kadokawa43.peatix.com/
資料：

• 一括ダウンロードhttps://goo.gl/EXUePA
• Part I 人工知能の歴史を振り返る
• Part II 人間の知能と機械と人間の歴史を振り返る
• Part III 言語能力への言語学的アプローチ
• Part IV 数学的認識能力への数学的アプローチ

資料Viewer

• Part I 人工知能の歴史を振り返る
  
• Part II 人間の知能と機械と人間の歴史を振り返る
  
• Part III 言語能力への言語学的アプローチ
  
• Part IV 数学的認識能力への数学的アプローチ
  

The post ポスト・ディープラーニングの人工知能技術を展望する first appeared on MaruLabo.