20151024 Azureデータストア概要

Microsoft Azure
データストア概要
秋のAzure勉強会 ~Azureの今を知ろう~
2015.10.24
Japan Azure User Group
@kosmosebi
Copyright© 2015, JAZUG All Rights Reserved.

Self Introduction
{
"name" : "Keiji Kamebuchi",
"corporation" : "pnop Inc.",
"mail" : "kamebuchi@pnop.co.jp",
"web" : "http://buchizo.wordpress.com/",
"twitter" : "@kosmosebi",
"award" : ["Microsoft MVP for Azure",
"Microsoft Regional Director"],
"timezone" : "-08:00 (PST)"
}
2
buchizo
Senior Fellow
@kosmosebi

Activities
3https://azure.moe/
https://radio.azure.moe/

このセッションは
2015/10/24 時点の情報を
基にしています
最新情報はWebで❕

Goal
Azureで使えるデータストアを知る
アプリケーションへの活用に想いを馳せる
実際に使ってみる
5

今日の対象
Storage BLOB/Table/File
SQL Database
DocumentDB
Redis Cache
Azure Search
SQL Data Warehouse
Data Lake
Backup
Application Insight
Key Vault
Operational Insights
StorSimple
Microsoft Operational
Management Suite
PowerBI
その他
6

注意
今日のスライドは文字ばっかりです
7

Azure BLOB Storage
8
ドキュメントなどいわゆるファイル用のストレージ
テキストやバイナリなど
ファイルに対し直接HTTP/Sでアクセス可能
SASによるアクセス制限
REST APIによる操作
マネージメントツールも豊富
Azure Storage Explorerなど
ブロックBLOBとページBLOB、追記型BLOBがあります
ページBLOB … VHDなどに使用、ランダムな書き込みサポート
追記型BLOB … 末尾にどんどん足していける、ログ用途など
ページBLOBのみPremium StorageとしてSSDベースのものが使える

Azure Table Storage
9
Key Value Store （KVS） / NoSQL キー属性データストア
PartitionKeyとRowKeyの2つが主キー、クラスタ化インデックスを構成
あとタイムスタンプ、それ以外（=エンティティ部）はスキーマレス
他のデータストアに比べ安価
他のデータセンターに複製せず1TB保存した場合、7140円/月
※その他10 万トランザクションあたり ¥0.37＋ネットワーク転送料かかるけど
REST API/ODataでアクセス、AtomPub(XML)/JSON

Azure File Storage
10
Azure Storageを共有フォルダとして使えるストレージ
SMB3.0対応、TCP/445が使えればインターネット経由可
オンプレやAzure上から通常の共有フォルダとしてアクセス
ACLは無い

Azure Storage共通
LRS（ローカル冗長ストレージ）
データはデータセンター内で3重化（複製）
ZRS（ゾーン冗長ストレージ）
同じリージョン内の別施設に3回複製される
ただしブロックBLOBのみ
GRS（地理冗長ストレージ）
関連付けされた別地域（リージョン）に複製
複製先リージョンでも3重化 = 合計6複製
複製先のデータは通常アクセスできない
RA-GRS（読み取りアクセス地理冗長ストレージ）
GRSの複製先のデータも読み取れる
GRS/RA-GRSの障害時
自動的にフェールオーバーする（DNSの参照先が変わる）
手動トリガーなし
クライアントSDKなども豊富（.NETに限らずnode.jsやPHP/Javaなどなど）
11

Azure Storage共通
12
他の地域のデータセンター
（三多重で冗長化）
複製
BLOB（ファイルや
VHD など）
Table
（非構造化データなど）
Queue（メッセージ
など）
複製
Files
（ファイル共有)

SQL Database
13

SQL Database
14
いわゆるRDBMSなサービス
SQL Serverベース
DTU（Database Throughput Unit）による性能保証と課金
決められたベンチマーク（ASDB）による指標
例: 10 DTU=約521トランザクション/分処理できるぐらいの性能
※ DTUが増えたからと言ってリニアに性能は増えない
エンタープライズ向けの機能が豊富
Point in Time Recoveryや常時暗号化、監査ログ、Azure AD認証連携、動的
データマスキング
などなど
TDS7.3以降であれば接続可能
.NET/Windowsに限らずPHP/Linuxなども可
インデックスのアドバイザーやクエリ情報みたりと機能も豊富

SQL Database
15
高可用性
既定で3冗長（プライマリと2つのセカンダリ）
自動的なバックアップ
• 5分毎にトランザクションログバックアップ → Point in Time Restore 可
• 毎日差分バックアップ＋別地域にレプリケート
• 毎週フルバックアップ＋別地域にレプリケート
標準ジオレプリケーション（Standard Geo Replication）
• 別地域（リージョン）に非同期にレプリケート、オフラインセカンダリ
アクティブジオレプリケーション（Active Geo Replication）
• 別地域（リージョン）に非同期にレプリケート
管理
ポータル、SQL Server Management Tools（SSMS）など

DocumentDB
16
西日本、東日本リージョンではまだ利用できません

DocumentDB
17
いわゆるNoSQLドキュメントデータベースなサービス
ドキュメント指向データベース
といいつつSQLも使える
JSONドキュメントとして保存、スキーマレス
インデックスも有
REST APIで操作、SDKは.NET/node.js/Java/Pythonなど
JavaScriptで記述できるストアドプロシージャー/トリガー/
ユーザー定義関数（UDF）
管理はPreviewポータルで（Azure DocumentDB Studioも一応）

DocumentDB
18
{
"id" : "123"
"name" : "joe"
"age" : 30
"address" : {
"street" : "some st"
}
}

DocumentDB
19
https://github.com/mingaliu/DocumentDBStudio
https://www.documentdb.com/sql/demo
http://www.slideshare.net/takekazuomi/introduction-to-
documentdb

Redis Cache
20

Redis Cache
21
いわずとしれたRedisのマネージドなサービス
Standard/Basicプランは永続化なし
Premium使うと永続化できます（ただしPreview）
バックアップ間隔は60分/6時間/12時間/24時間から選択（RDB）
AOF…Coming Soon
Redis Cluster
VNETにも参加可能
最大53GB x 10 ユニット = 530GB（それ以上は要相談）
redis-cliなどが利用可能
Previewポータルでも操作できます

Redis Cache
22

Azure Search
23
東日本リージョンでは使えません

Azure Search
24
Search as a Service
Index用データの保存とインデックス生成、検索が可能
56言語対応、Lucene Language Analyzers/Microsoft language analyzers
位置情報でのフィルタリング・ソート、ファセット、more like this
REST APIで操作、応答はJSON
.NETはサービス用（Client）SDKあり
管理はPreviewポータル
3rd Party製ツールもある
https://github.com/MaxMelcher/AzureSearchTool
http://cloudportam.com/features/search-service
Demo: https://searchsamples.azurewebsites.net/
http://azjobsdemo.azurewebsites.net/

SQL Data Warehouse
25
現在、Previewです

SQL Data Warehouse
ペタバイトクラスのデータウェアハウス
columnstoreインデックスと並列処理（MPP）アーキテクチャ
オンプレミスでも提供予定
コンピュートとストレージの分離（PolyBase）
Azure BLOB StorageとHadoopに接続できる
SQLサポート
停止/復帰可能
26

Data Lake
27
現在、Private Previewです（普通には使えません）

Data Lake
無限のデータをリアルタイムに蓄積、処理（分散解析）
するためのデータストア
HDFS API互換、Apache Yarnをビルトイン
HDInsightやHadoop、R言語、他の解析ソリューションと連携
SQL Data Warehouseに出力など
Row Data保存
低レイテンシ、高スループット、アクセスコントロール
U-SQL
28

Data Lake
29
Microsoft
Revolution-R
Enterprise
Other analytic
solutions SQL Data
Warehouse

Data Lake
30

Azure Backup
31

Azure Backup
バックアップサービス
オンプレのデータやAzure上の仮想マシンのデータを
バックアップ
ワークロード（SharePoint ServerやSQL Server）にも対応
基本的にWindows Server/Windows Client用
32

Application Insight
33
現在、Previewです

Application Insight
34
アプリケーションの利用統計情報を保存、表示
利用状況分析、例外検出、パフォーマンス、診断/トリアージ...
Webアプリケーションやネイティブアプリケーションから
データを収集、保存
UWP/WPF/ASP.NET/node.js/PHP/Java/Python/Ruby/WordPress,...
iOSやAndroid用SDKも
生データは7日/15日/30日間保持
集約データは13か月または無制限
Previewポータルで管理、参照
SQL DatabaseやPowerBIに出力して表示なども可能

Application Insight
35

Key Vault
36

Key Vault
37
キーを管理するためのサービス
証明書（PFX）、アカウントキー、シークレットキーなど
ハードウェアセキュリティモジュール（HSM）で暗号化されて安全
に保管
FIPS 140-2 レベル 2 への準拠が検証済みの HSM
キーの失効やインポート、使用状況の監視が可能
ただし現状使用状況のログは見れない
REST APIで操作
SQL ServerのTDEなどで透過的に利用可能
（SQL Databaseなどはまだ）

Azure以外
38

StorSimple
39
ストレージのアプライアンス製品 * 2012年10月にMSが買収
iSCSIでファイルサーバーと接続
Windows/VMware/Linux(RHEL, CentOS, SuSE)
SSDがメイン（キャッシュ）で参照頻度が低いデータはHDDへ
Azure上のストレージにバックアップおよび退避
参照されたら自動的にロード

Microsoft Operational Management Suite
オンプレ/Azureなどクラウドの集中管理ソリューション
Hyper-V/System Center
Azure
Amazon Web Services
openstack / VMware / rackspace
WindowsやLinuxからログを収集・保存、分析が可能
40

Microsoft Operational Management Suite
41

Operational Insights
42
西日本・東日本リージョンでは使えません

PowerBI
データのリアルタイム可視化・分析ツール
一定量の保存も可
他のデータソースを参照することもできる
Power BI REST API
データの追加など
iframeで埋め込みもできます
43

PowerBI
44

その他
45

MySQL
いわずとしれたオープンソースなRDBMS
ClearDB が提供 or Virtual Machineで自作
ClearDBの場合
マネージドなサービスなので管理はおまかせ
Virtual Machineで自作の場合
サーバーの管理は自己責任
冗長化、障害対策なども自分でがんばる
46

その他のデータストア
PostgreSQL, MongoDBなどなど
マネージドなサービスではなくなりますが。。
Virtual Machineで自由に構築できます
Marketplace経由で簡単にデプロイも可能
Oracleなどは Virtual Machine のギャラリーにあります
ただし…
冗長性や可用性、障害対策などすべて自分で管理
47

まとめ
スタンダードから目的特化まで様々
データの構造や使い方にあったサービスを選びましょう
各サービスのプランによって使える機能や容量、価格もかわります
用量・用法を守って正しく選択ください
各サービスの制限・限度などはこちら
• https://azure.microsoft.com/ja-jp/documentation/articles/azure-subscription-
service-limits/
• Azure limitation とかで検索
48

Q&A
49
質
問
シ
テ
ネ
！
• このセッションは 2015/10/24 時点の情報を
基にしています
• 最新情報はWebで❕

20151024 Azureデータストア概要

More Related Content

What's hot (20)

Viewers also liked (9)

Similar to 20151024 Azureデータストア概要 (20)

Recently uploaded (11)

20151024 Azureデータストア概要