Oracle Big Data SQL3.1のご紹介

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 1
OracleならではのHadoopソリューション
HadoopとDatabaseのさらなる統合を実現！
Oracle Big Data SQL 3.1 ご紹介
2017/1/13
日本オラクル株式会社
クラウド・テクノロジー事業統括

Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するもの
です。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込
むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコ
ミットメント（確約）するものではないため、購買決定を行う際の判断材料になさ
らないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよ
び時期については、弊社の裁量により決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。
文中の社名、商品名等は各社の商標または登録商標である場合があります。

はじめに
• データベース上のデータのみならず、HadoopやNoSQL上のすべてのデータにも、
データベースへのSQLでシンプルに、迅速に、セキュアにアクセス可能にする
Oracle Big Data SQLの最新バージョン3.1がリリースされました
• ビッグデータ、IoT、AIの技術を利用し、真にビジネス価値を生み出すためには、
HadoopやNoSQL上のデータだけでは実現は難しく、マスタデータやトランザク
ションデータといった、RDBMS上のビジネスデータとの連携とが必須となります
• 今回のアップデートにより、より多くのお客さまの、ビッグデータ/IoTからの真なるビ
ジネス価値創出と、競争優位確立のお役に立てると確信しております
3

業務
アプリケーション
オペレーショナル
レポーティング
RDBMS
成功のポイントはデータベースとの共存にあり！
HadoopとRDBMSの強みを組み合わせる
データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる
ソーシャル
メディア
IoT
73°
Big Data
Management
System
Hadoop
アナリティクス
• Hadoopの特長
– Schema-On-Readによる柔軟性
• 格納時にデータスキーマの考慮不要、
利用時に定義
• レイアウトが変わるデータに向いている
– 高速なデータ加工・編集・集計処理
• 並列分散処理システム
• Sparkなどの豊富なエコシステム
– 低いバイト単価
• ストレージコストの低下の恩恵
4

成功のポイントはデータベースとの共存にあり！
Oracle Big Data Management System
データ量にとらわれず、新たなテクノロジーの恩恵をどう活用するか
目的
パターン/
データ特性
Hadoop DWH/Database
バッチ処理・
データ加工
バッチ処理と
生データ保持
ETL処理、生データ処理後データ
データ
分析
データ密度・
データ価値
低い高い
フォーマット
変更頻度
多い少ない
粒度細かい粗い
参照頻度少ない多い
センサーデータ、
ログデータ、GPSデータ、SNS等
既存のRDBMS内のデータ
（マスターデータ/
トランザクションデータ）
明細データサマリデータ
経年データアクティブデータ
5
バッチ処理・データ加工・
大福帳作成・生データ保持
ETL処理・データ加工後の
データ

Oracle Big Data SQL
• データベース上のデータのみならず、HadoopやNoSQL上のすべてのデータにも、
データベースへのSQLでシンプルに、迅速に、セキュアにアクセス可能
6
Smart Scan
クエリをExadataの
ストレージサーバーにオフロード
Storage Index
クエリに必要な
データブロックのみをスキャン
SQL一つで、
必要なデータが
高速にセキュアに返される
Smart Scan
クエリをBig Data Applianceの
データノードにオフロード
Storage Index
クエリに必要な
データブロックのみをスキャン
Predicate Pushdown
Hadoopが得意な処理を、
Hadoop側で実施
SQL
必要データ
のみ移動
SQL
Hadoop Oracle Database
12c
既存のアプリ、ツール、スキル
そのままで全てのデータがクエリ可能
Hive
metadata

Oracle Big Data SQL3.1 リリースハイライト
1. Expanded Deployments
– DatabaseとHadoopの組み合わせパターンが増えました
2. Ethernet Option for Connections to the Exadata Database Machine
– Exadataとの接続にEthernet 接続も可能となりました
3. Simplified Deployment on Oracle Database Servers -Oracle Grid Infrastructure is now Optional
– Database側のグリッド構成が必須でなくなりました
4. Unified Platform Support in the Oracle Big Data SQL Installer
– BDSのインストーラが、BDAとDIY環境で統合されました
5. New Features to Simplify ILM - Oracle Database Tablespaces in HDFS
– DBのテーブルスペースをHDFS上に配置できるようになりました。ただし、Read-Onlyです
6. Enhancements in Oracle Shell for Hadoop Loaders（OHSH） 1.2
– DBとHadoopの統合シェルコマンドである、Oracle Shell for Hadoop Loadersが拡張されました
7. Enhancements to Copy To Hadoop
– OHSHでdirectcopyというオプションが追加され、DBのpumpデータを直接HDFSに着地させることができるようになりました
8. Installation Instructions Moved to Oracle Big Data SQL Installation Guide
– インストールガイドが独立しました
7
主なUpdate（マニュアルより）

1.Expanded Deployments
8
Big Data SQL適用パターンが拡大、さらに多くのお客様にHadoopとDBの統合活用を提供
Engineered Systems
XB
Oracle Cloud*
Commodity Servers Mixed Deployment
Engineered Systems*
Mixed Deployment
* Coming Soon!
詳細な対応バージョン等は、 Compatibility Matrixを参照ください

5.New Features to Simplify ILM
- Oracle Database Tablespaces in HDFS
9
より多くのデータを安価に、セキュアに、SQLで分析可能に
Oracle Big Data SQL
Rolling 13
monthsMonth 14-n
Oracle Big Data SQL 3.0 w/ DB12c
• HadoopフォーマットでHDFSにデータ保持
• Big Data SQLによりスキャンや絞込み処理
をHadoop側にオフロード可能
Oracle Big Data 3.1NEW w/ DB12c
• OracleフォーマットでHDFSにデータ保持
• dbfをネイティブに取り扱うことが可能
パフォーマンスがさらに向上
New capability in 3.1
Data Stored in Oracle format

10
2つの統合パターンを実現。HDFS上のデータをOracle側で実表としても定義可能に
• 1. Viewによる統合(従来の方式) • 2. ハイブリッドテーブル
HDFS With BDS
HDFS
With BDS
DATABASE
VIEW
DATABASE
実表
実表外部表
HDFS
DATABASE

11
2つの統合パターンを実現。HDFS上のデータをOracle側で実表としても定義可能に
…JAN 2014 FEB 2014 MAR 2014 OCT 2016 NOV 2016 DEC 2016
HDFS
Orders
Database
OCT 2016 NOV 2016 DEC 2016
JAN 2014 FEB 2014 MAR 2014
ホットではない、パーティションをHDFSに移動
ハイブリッドな
パーティションテーブル
実表のレイアウトは変更なし
＝アプリに影響なし

OracleBig Data SQL詳細情報
• Oracle Big Data SQL3.1パッチ（MOSより）
– Patch 25369057 - bdsql 3.1 installer bundle for CDH
– Patch 25369091 - bdsql 3.1 installer bundle for HDP
– Patch 24368922 - one-off-patch on top of 12.1.0.2.161018 DBBP
• マニュアル
– Oracle Big Data SQL Online Documentation Library Release3.1
• ご参考資料
– Oracle Database 12c Release 2 コアテク・セミナー(2016/10）資料、6．Big Data
12

Appendix:Big Data活用をオンプレミスでもクラウドでも
13
お客様データセンター
購入
お客様による管理
専有環境
Big Data Appliance
お客様データセンター
サブスクリプション
オラクルが管理
専有環境
近日リリース予定
Big Data Cloud Machine
Oracle Cloud
オラクルが管理
専有環境
Big Data Cloud Service
近日リリース予定
Big Data Cloud Service
– Compute Edition
Oracle Cloud
フルマネージド
共有環境

Appendix:Oracle Big Data Cloud Service
14
エンタープライズ向けビッグデータ活用環境をクラウドで
・データ蓄積可能な、高パフォーマンスな
お客様専用環境をご提供
・月額定額料金、クエリ実行に課金なし
・1時間単位での一時的なリソース増減が可能
1.多様なデータを
専用環境上に
すぐに蓄積可能
・Cloudera HadoopのエコシステムやSparkも利用可能
・オラクルのビッグデータ分析ツールを包含
（R言語、空間分析、グラフ分析、画像分析）
・データロード、データ加工を実現するETLツール包含
2.ビッグデータ分析・
活用ツールを含有
・Oracle Exadata Cloud Serviceとの高速連携
クラウド上でビッグデータマネジメント基盤を実現
・Oracle Big Data SQL Cloud Service により、
SQLで高速かつセキュアにアクセス可能
・SaaSやPaaSなど他クラウドとの密連携
3.他クラウドとの
密連携
Big Data
Cloud Service
https://cloud.oracle.com/ja_JP/bigdata

Appendix: 関連情報のご案内
• 各種技術資料を、SlideShareで公開しております
– Hadoopソリューション
• OracleのHadoopソリューションご紹介
• Oracle Big Data Cloud Serviceのご紹介
• Oracle Cloudで始める、DBエンジニアのためのHadoop超入門（db tech showcase2016)
• OracleとHadoop連携の勘所（Oracle DBA ＆Developers Day2016資料）
– 機械学習ソリューション
• Oracle Data Miner Tutorial （Data Miner のセットアップ、表データの加工とモデル構築）
• Oracle R Enterprise（Oracle R Enterprise のセットアップ、Oracle R Enterprise の使い方）
– その他豊富なクラウドサービス
Slideshare oracle4engineer
15
詳細は「Slideshare, oracle4engineer」で検索

Appendix: 関連情報のご案内
データベースインサイダー
16
• 各種技術資料を、オラクルデータベースインサイダーで公開しております
– Big data/IoT関連
• ちょっと待って！そのHadoop、NoSQL、RDBMSの使い分けは正しいの？
最適解をオラクルのビッグデータ製品開発者に聞いた
• 「IoT＆ビッグデータ環境を2週間で導入してビジネス立ち上げ」も
Oracle Cloud Platformなら本当にできる！
• どこが違う？何がうれしい？オラクルならではのビッグデータソリューション
• アナリティクスがもっと簡単に業務ユーザーの身近なツールになる
• リアルタイムデータ連携
ビッグデータ活用の領域でも普及が進むOracle GoldenGate
• いつものSQLでHadoop操作を。
“フツーの会社”のためのビッグデータ活用基盤とは
詳細は「データベースインサイダー」で検索

オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます！
Appendix:Oracle Big Data Lite のご紹介
17
• 事前設定済のオラクルビッグデータ製品の最新バージョンが
入ったVM環境をインストール作業の必要なく、すぐに利用可能
• OTNサイトから無料でダウンロード
• サンプルデータ込、自己学習のための動画、
デモスクリプトも公開
• RDBMS、Hadoop、NoSQL、R、Spatial, Graph、
興味のある製品から、ビッグデータ活用の全体フローまで
お好きな製品をローカルの仮想マシン環境上で
• 自己学習環境としてぜひお試しください
*自己学習用のサポート対象外製品です
*使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください
*OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます
https://community.oracle.com/community/database/big_data

Oracle Big Data SQL3.1のご紹介

Oracle Big Data SQL3.1のご紹介

Recommended

More Related Content

What's hot (20)

Viewers also liked (15)

Similar to Oracle Big Data SQL3.1のご紹介 (20)

More from オラクルエンジニア通信 (20)

Oracle Big Data SQL3.1のご紹介