クラウド | MaruLabo

Cloud研究会（2012年度）

MaruyamaFujio — Mon, 17 Jan 2022 11:17:51 +0000

開催セミナー

2012/02/02 「クラウド上のサービス開発の新しい動向 — Play2.0 とJavaEE7」
2012/03/07 「Facebook のシステム」
2012/05/08 「Facebook のリアルタイムBig Data 処理」
2012/05/08 「JavaEE7とJCache」
2012/07/12 「 Googleの新しい検索手法Knowledge Graph について」
2012/08/09 「Google Compute Engine とGoogle Pipe API」
2012/09/14 「クラウドとクラウド・デバイスによるIT ビジネスの変化」
2012/10/29 「Avatar とMeteor」
2012/12/03 「アプリ開発の新しい動向」
2012/12/17 「JavaScript の進化」
2013/01/30 「関数型言語と並列・分散処理」
2013/02/21 「Google Dremel」
2013/03/15 「Android の次の飛躍を考える — Web アプリ / HTML5 開発の新しい動向」

セミナー資料

2012/02/02 「クラウド上のサービス発の新しい動向 — Play2.0 とJavaEE7」（ダウンロード）

2012/03/07 「Facebook のシステム」（ダウンロード）

2012/05/08 「Facebook のリアルタイムBig Data 処理」（ダウンロード）

2012/05/08「JavaEE7とJCache」（ダウンロード）

2012/07/12「Googleの新しい検索手法 Knowledge Graph について」（ダウンロード）

2012/08/09 「Google Compute Engine とGoogle Pipe API」（ダウンロード）

2012/10/29 「Avatar とMeteor」（ダウンロード）

2012/12/03 「アプリ開発の新しい動向」（ダウンロード）

2012/12/17 「JavaScript の進化」（ダウンロード）

2013/01/30 「関数型言語と並列・分散処理」（ダウンロード）

2013/02/21 「Google Dremel」（ダウンロード）

2013/03/15 「Android の次の飛躍を考える — Web アプリ / HTML5 開発の新しい動向」（ダウンロード）

The post Cloud研究会（2012年度） first appeared on MaruLabo.

分散合意アルゴリズム (1) — Paxos

MaruyamaFujio — Wed, 12 Jan 2022 07:27:28 +0000

2022/01/29 マルレク「分散合意アルゴリズム (1) — Paxos」概要

今回のマルレクのテーマは、代表的な「分散合意アルゴリズム」であるPaxosの紹介です。
申し込み：https://paxos.peatix.com/

なんで今頃Paxosなのかと感じる人もいると思います。IT系の話題を取り上げるのは久しぶりなので、最初に、このセミナーの背景を述べておこうと思います。それは、現在の日本で、大規模なシステム障害が連続して起きていることと、すこし関係しています。

21世紀初頭のIT技術とITビジネスの大きな変化は、膨大な計算資源を集中してネットワークを通じてサービスを提供するクラウドと呼ばれる巨大なシステムの成立によって特徴づけられます。こうしたクラウドへのリソースの集中に対応して、クラウドのサービスを利用するクラウド・デバイスとしてのスマートフォンが拡散し、ほとんど全人類に普及します。

技術者のライフサイクルからみれば、このクラウド時代への移行は、驚くほど短期間に急速に進行しました。

大規模システムというのは、単に、システムの規模が大きいことを意味しません。今日では、大規模システムは、設計者がそれを意識するか否かに関わらず、クラウドと同じようにネットワークをまたいだ大規模分散システムの形を取ります。

プログラミングのスタイルも大きく変わりました。サーバーサイドでサービスを作るプログラマも、クライアントサイドでアプリを作るプログラマも、本人がそれを意識すると否とに関わらず、今日のプログラマの大部分は、ネットワーク・プログラマです。

クラウド技術はもちろんネットワーク技術なのですが、クラウド技術成立の前提には、「ネットワーク上で規模を拡大しながら、システム全体としては障害を起こさないシステムを作ることは難しい」という認識があったことです。この認識は「ハードウェアの障害は起きるものだ」という障害観の成立とともに、重要なものだと思います。

クラウドの技術は、まさにこうした困難を乗り越える技術として登場しました。また、それは、冒頭でも見たように、大きな成功を収めました。

ただ、僕は、変化のスピードが早すぎて — 繰り返しますが、技術者のライフサイクルから見ればということですが — ネットワーク上でシステムを構築するというクラウド時代の中心的変化の技術的な意味が、クラウド以前の技術者にもクラウド以降の技術者にも、きちんと伝わっていないのではという心配をもっています。

それは、クラウド以前の技術者だけの問題ではありません。若い技術者は、必ずしもクラウド技術の一時代を画したGoogleの”Google File System (GFS)” や”BigTable” に関心を持っているわけではないように思えます。

GFSとBigTableは、直接的には異なる目的のために開発されたものです。ただ、両者で共通に利用されている “Chubby”と呼ばれた「分散ロック・サービス」は、Paxosの実装にほかなりません。見かけは地味ですが、こうした形での「分散合意アルゴリズム」の利用には、クラウド技術のエッセンスが詰まっていると僕は考えています。

10年以上前の技術の昔話をするつもりはありません。「風が吹けばオケ屋が儲かる」式に「Paxosがわかればクラウド技術がわかる」という話をするつもりもありません。ただ、知らないままに通り過ぎる訳にはいかない技術は存在します。

その上、「分散合意」技術、けっして完成した過去の枯れた技術ではありません。その重要性は、現代のIT技術においても、新しい装いのもとに引きつがれています。

セミナーの構成と参考文献

今回のセミナーは、次のような構成を考えています。

　第一部　ネットワーク・プログラミングの難しさ
　第二部　Paxosは、どう使われているか
　第三部　Paxosアルゴリズム

　第一部　ネットワーク・プログラミングの難しさ

第一部では、「ローカルなプログラミングとリモートなプログラミングをはっきりと区別すべき」だという立場を明確にしたJim Waldoの洞察に依拠して、ネットワーク・プログラミングの「難しさ」を振り返ってみようと思います。

　Jim Waldo
　“A Note on Distributed Computing”
https://scholar.harvard.edu/waldo/publications/note-distributed-computing
　”Complexity Quanta and Platform Definition”
　　https://wstrange.wordpress.com/2006/10/05/summary-jim-waldos-keynote-at-the-10th-jini-community-meeting/

　第二部　Paxosは、どう使われているか

第二部では、Paxosが、どういうところで利用されているのかを紹介します。

　”Large-scale cluster management at Google with Borg”
https://storage.googleapis.com/pub-tools-public-publication-data/pdf/43438.pdf
　”The Chubby lock service for loosely-coupled distributed systems”
　https://static.googleusercontent.com/media/research.google.com/ja//archive/chubby-osdi06.pdf

　第三部　Paxosアルゴリズム

第三部は、Paxos アルゴリズムを紹介します。

　Leslie Lamport
　”The Part-Time Parliament”
　https://lamport.azurewebsites.net/pubs/lamport-paxos.pdf

　Jim Gray and Leslie Lamport
　”Consensus on Transaction Commit”
　　https://arxiv.org/pdf/cs/0408036.pdf

この論文自体は、決して読みやすいものではないのですが、ネットワーク環境での Two-Phase Commitの失敗例や、クラウド環境でPaxosのアルゴリズムがどう利用されるのかのシナリオベースで、わかりやすく解説できればいいと考えています。

講演資料「分散合意アルゴリズム — Paxos」(ダウンロード)

講演ビデオ「分散合意アルゴリズム — Paxos」

第一部　ネットワーク・プログラミングの難しさ

第二部　Paxosは、どう使われているか

第三部　Paxosアルゴリズム

参考資料

なぜ、今、Paxosなの？　（ダウンロード）

第一部ネットワーク・プログラミングの難しさ

分散コンピューティングについての考察（ダウンロード）

ネットワークの遅延について（ダウンロード）

システムの進化とその複雑さについて（ダウンロード）

第二部　Paxosは、どう使われているか

Paxosの働きをイメージする　（ダウンロード）

Paxosとコンテナー技術 (ダウンロード)

LeaseとPaxos （ダウンロード）

第三部 Paxos アルゴリズム

たとえ話で理解するPaxos (1)　（ダウンロード）

たとえ話で理解するPaxos (2)　（ダウンロード）

Paxos アルゴリズム (1)（ダウンロード）

Paxos アルゴリズム (2)（ダウンロード）

The post 分散合意アルゴリズム (1) — Paxos first appeared on MaruLabo.

クラウドアプリケーションのためのオブジェクト指向分析設計講座 — 基本編 (1)

MaruyamaFujio — Fri, 13 Aug 2021 05:30:49 +0000

2021/08/16 基本編第一回「講座の概要について」

「クラウドアプリケーションのためのオブジェクト指向分析設計講座」の全体構成はこちらを参照ください

本講座の内容

基本編の講座の概要について説明します。

基本編は大きく以下の内容で構成されています。

基本モデル
作業分野
アプリケーション・アーキテクチャ
ケース・スタディ

各項目でどのような内容を講義するのかを概観します。

講演動画

第一部「概要」
第二部「基本モデル」
第三部「作業分野/アプリケーション・アーキテクチャ」

講演資料　ダウンロード

講演資料　Viewer

The post クラウドアプリケーションのためのオブジェクト指向分析設計講座 — 基本編 (1) first appeared on MaruLabo.

クラウドアプリケーションのためのオブジェクト指向分析設計講座概要

AsamiTomoharu — Mon, 12 Jul 2021 23:26:19 +0000

セミナー概要

2006年にAWSの最初のサービスであるS3, EC2が公開されてから15年、クラウドプラットフォーム上でWebアプリケーションや業務アプリケーションを構築することが普通になってきました。

クラウドプラットフォームでは、従来メインフレームやUNIXサーバーなどの上で、大規模アプリケーションを構築するために使用されていたメッセージングなどの各種ミドルウェアが安価に使用できるようになりました。安価に気軽に使用できるようになったということは、これらのミドルウェアを組み込んだ高度なアプリケーションの構築が日常になったということです。

またマルチサーバーを気軽が使用できるようになったことにより、スケーラビリティ(scalability)や弾力性(resilient)といった特性をアプリケーションに組み込むことも容易になっています。さらにBigDataやAI、マイクロサービス、DXといった新しい技術分野が登場し、アプリケーション開発で取り扱わなくてはいけない要素技術の質と量が飛躍的に増大しました。

このような複雑化したアプリケーション開発に対して、要求仕様を定義し適切な分析設計を行うためには、より高い技術力が求められるようになってきたと言えるでしょう。個々の要素技術への理解も重要ですが、それらの技術をつかって、どのようにアプリケショーン全体をまとめあげていくのか。

そのための方法論として、ソフトウェア工学の集大成ともいえる開発方法論であるオブジェクト指向分析設計(OOAD, Object-Oriented Analysis and Design)が有力な候補となります。そして、オブジェクト指向分析設計の土台の上で、クラウド時代の新しい要素技術、応用への対応方法を整備していくことが現実解となるでしょう。

本講座「クラウドアプリケーションのためのオブジェクト指向分析設計講座」では、このような問題意識からクラウド時代のアプリケーション開発に必要なオブジェクト指向分析設計方法論について解説します。

本講座の全体構成

「クラウドアプリケーションのためのオブジェクト指向分析設計講座」は以下の3部構成を予定しています。

第1部基本編
第2部クラウドアプリケーション編
第3部モデル駆動開発編

「第1部基本編」の概要と今後の予定

第1部ではオブジェクト指向分析設計の基本について解説します。

オブジェクト指向分析設計の重要性は増しているにも関わらず、これを学ぶ機会は大きく減少していると思われます。このため、まずオブジェクト指向分析設計の基本を第1部として用意しました。

HaskellやScalaの登場により関数型プログラミングの重要性が認識され、オブジェクト指向と関数の連携についても重要な論点になってきました。「関数」は今後より重要性が高まってくる並列処理、分散処理に対するキーテクノロジーとなる可能性があります。

このような観点から、従来からのオブジェクト指向分析設計に「関数」の考え方を取り入れていく必要があります。いわば”オブジェクト関数型分析設計(Object-Functional Analysis and Design)”という枠組みに拡張したオブジェクト指向分析設計が必要になってきますが、本講座ではこの点についてもカバーしていく予定です。

第2部では第1部で解説したオブジェクト指向分析設計をベースにクラウドアプリケーションの分析設計について解説する予定です。

第3部ではオブジェクト指向分析設計の理想形であるモデル駆動開発について説明する予定です。

「第1部基本編」の構成

本講座は以下の5つのセクションで構成されています：

概要：UML/UPの基礎と本講座の位置づけ
基本モデル：ユースケースモデル、クラス図、ステートチャートなどの基本的なUMLモデリング技術
作業分野：UPの作業分野（ビジネスモデリング、要件、分析、設計、実装、テストなど）の整理と解説
アプリケーション・アーキテクチャ：クラウドアプリケーションを前提としたソフトウェアアーキテクチャの整理とUML適用の検討
ケース・スタディ：プロファイル定義を行い、現実的な規模のアプリケーションを題材にした実践的モデリングの試行

概要

第1回、第2回では講座の概要を説明します。

回	タイトル	URL
1	概論	クラウドアプリケーションのためのオブジェクト指向分析設計講座 — 基本編 (1) 2021/08/16 基本編第一回「講座の概要について」「クラウドアプリケーションのためのオブジェクト指向分析設計講座」の全体構成はこちらを参照ください本講座の内容基… MaruLabo
2	開発プロセス	https://www.marulabo.net/docs/asami02/

回

タイトル

URL

概論

クラウドアプリケーションのためのオブジェクト指向分析設計講座 — 基本編 (1)

2021/08/16 基本編第一回「講座の概要について」「クラウドアプリケーションのためのオブジェクト指向分析設計講座」の全体構成はこちらを参照ください本講座の内容基…

クラウド | MaruLabo

Cloud研究会（2012年度）

開催セミナー

セミナー資料

2012/02/02 「クラウド上のサービス 発の新しい動向 — Play2.0 とJavaEE7」（ダウンロード）

2012/03/07 「Facebook のシステム」（ダウンロード）

2012/05/08 「Facebook のリアルタイムBig Data 処理」（ダウンロード）

2012/05/08「JavaEE7とJCache」（ダウンロード）

2012/07/12「Googleの新しい検索手法 Knowledge Graph について」（ダウンロード）

2012/08/09 「Google Compute Engine とGoogle Pipe API」（ダウンロード）

2012/10/29 「Avatar とMeteor」（ダウンロード）

2012/12/03 「アプリ開発の新しい動向」（ダウンロード）

2012/12/17 「JavaScript の進化」（ダウンロード）

2013/01/30 「関数型言語と並列・分散処理」（ダウンロード）

2013/02/21 「Google Dremel」（ダウンロード）

2013/03/15 「Android の次の飛躍を考える — Web アプリ / HTML5 開発の新しい動向」（ダウンロード）

分散合意アルゴリズム (1) — Paxos

2022/01/29 マルレク「分散合意アルゴリズム (1) — Paxos」概要

セミナーの構成と参考文献

第一部 ネットワーク・プログラミングの難しさ

第二部 Paxosは、どう使われているか

第三部 Paxosアルゴリズム

講演資料「分散合意アルゴリズム — Paxos」(ダウンロード)

講演ビデオ 「分散合意アルゴリズム — Paxos」

第一部 ネットワーク・プログラミングの難しさ

第二部 Paxosは、どう使われているか

第三部 Paxosアルゴリズム

参考資料

なぜ、今、Paxosなの？ （ ダウンロード）

第一部 ネットワーク・プログラミングの難しさ

分散コンピューティングについての考察（ダウンロード）

ネットワークの遅延について （ダウンロード）

システムの進化とその複雑さについて （ダウンロード）

第二部 Paxosは、どう使われているか

Paxosの働きをイメージする （ダウンロード）

Paxosとコンテナー技術 (ダウンロード)

LeaseとPaxos （ダウンロード）

第三部 Paxos アルゴリズム

たとえ話で理解するPaxos (1) （ダウンロード）

たとえ話で理解するPaxos (2) （ダウンロード）

Paxos アルゴリズム (1)（ダウンロード）

Paxos アルゴリズム (2)（ダウンロード）

クラウドアプリケーションのためのオブジェクト指向分析設計講座 — 基本編 (1)

2021/08/16 基本編 第一回「講座の概要について」

本講座の内容

講演動画

講演資料 ダウンロード

講演資料 Viewer

クラウドアプリケーションのためのオブジェクト指向分析設計講座 概要

セミナー概要

本講座の全体構成

「第1部 基本編」の概要と今後の予定

「第1部 基本編」の構成

概要

基本モデル

作業分野

アプリケーション・アーキテクチャ

ケース・スタディ

Facebookのシステム

2012/03/27 Cloud研究会「Facebookのシステム」

講演資料「Facebookのシステム」ダウンロード

資料 Viewer 「Facebookのシステム」

2012/05/08 Cloud研究会「Facebookのリアルタイム Big Data処理」

講演資料「Facebookのリアルタイム Big Data処理」ダウンロード

資料 Viewer 「Facebookのリアルタイム Big Data処理」

2012年3-5月に旧Cloud研究会ページに投稿した丸山のNote

ディープラーニング：クラウド＋エッジ ハンズオン

5月12日 MaruLabo+AWS+ASCII総研

テーマ：「ディープラーニング：クラウド＋エッジ ハンズオン」

Amazon SageMakerクラウド・ハンズオン

2月24日 MaruLabo+AWS+ASCII総研

テーマ：「Amazon SageMakerクラウド・ハンズオン」

ボイス・アシスタントから見るAIの未来

1月15日 マルレク

テーマ：「ボイス・アシスタントから見るAIの未来 」

ボイスアシスタント・システム — 人間と機械のインターフェースの変化に備えよう

11月14日 角川講義

テーマ：「ボイスアシスタント・システム — 人間と機械のインターフェースの変化に備えよう」

ネットワークとハードウェアの技術動向

11月30日 マルレク第四回

2012/02/02 「クラウド上のサービス発の新しい動向 — Play2.0 とJavaEE7」（ダウンロード）

　第一部　ネットワーク・プログラミングの難しさ

　第二部　Paxosは、どう使われているか

　第三部　Paxosアルゴリズム

講演ビデオ「分散合意アルゴリズム — Paxos」

第一部　ネットワーク・プログラミングの難しさ

第二部　Paxosは、どう使われているか

第三部　Paxosアルゴリズム

なぜ、今、Paxosなの？　（ダウンロード）

第一部ネットワーク・プログラミングの難しさ

ネットワークの遅延について（ダウンロード）

システムの進化とその複雑さについて（ダウンロード）

第二部　Paxosは、どう使われているか

Paxosの働きをイメージする　（ダウンロード）

たとえ話で理解するPaxos (1)　（ダウンロード）

たとえ話で理解するPaxos (2)　（ダウンロード）

2021/08/16 基本編第一回「講座の概要について」

講演資料　ダウンロード

講演資料　Viewer

クラウドアプリケーションのためのオブジェクト指向分析設計講座概要

「第1部基本編」の概要と今後の予定

「第1部基本編」の構成

ディープラーニング：クラウド＋エッジハンズオン

テーマ：「ディープラーニング：クラウド＋エッジハンズオン」

1月15日マルレク

テーマ：「ボイス・アシスタントから見るAIの未来」

11月14日角川講義

11月30日マルレク第四回