Lake Formation provides automated data ingestion and security for data lakes on AWS. It allows users to easily ingest data into S3, cleanse and structure the data, and define fine-grained access controls. The service generates a metadata catalog to help users discover and understand their data. It also provides monitoring and auditing of all access to ensure appropriate permissions. Lake Formation simplifies and accelerates the process of building secure data lakes on AWS.
This document discusses Amazon Neptune, a fully managed graph database service. It provides an overview of graphs and graph databases, introduces Amazon Neptune's key features like high performance, availability and security. Gremlin and property graph models are explained. The webinar will cover what graphs are, graph databases, an introduction to Amazon Neptune, getting started with Neptune and a conclusion.
Lake Formation provides automated data ingestion and security for data lakes on AWS. It allows users to easily ingest data into S3, cleanse and structure the data, and define fine-grained access controls. The service generates a metadata catalog to help users discover and understand their data. It also provides monitoring and auditing of all access to ensure appropriate permissions. Lake Formation simplifies and accelerates the process of building secure data lakes on AWS.
This document discusses Amazon Neptune, a fully managed graph database service. It provides an overview of graphs and graph databases, introduces Amazon Neptune's key features like high performance, availability and security. Gremlin and property graph models are explained. The webinar will cover what graphs are, graph databases, an introduction to Amazon Neptune, getting started with Neptune and a conclusion.
開発者におくる Power BI を使う時に考えるべきアーキテクチャ ~ データを溜めるのは誰だ? ~Yugo Shimizu
Microsoft のイベント de:code 2018 AD21 で私がお話したセッション資料です。後日動画が公開される予定ですので、あわせてご覧ください。
Power BI をこれから使おうと思われている方、既に使っているがうまくいかないという方にレポートの種類とデータ接続モードについて、適切なアーキテクチャがわかる内容になっております。
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)日本マイクロソフト株式会社
あらゆるビジネスの過程でデータが発生し、最適なストレージに蓄積され、データサイエンティストが分析し、業務上で次に打つべきベストなアクションを起こす。このようなデジタル フィードバック ループは、一部の限られた企業のみが実現可能なものでしょうか?確かに「データが事業部門(LOB)毎に点在している」「データは溜まっているけど、活用できていない」などのお困り事が良く聞かれます。マイクロソフトのビジネスアプリケーションの基盤である Power Platform では、皆さまの企業において、あらゆるシステムからのデータを集約、統合し、データが分析されるまでの準備を簡単に行うことができます。Power Apps、CDS、ADLS、Power BI などをキーワードに、それらの最新のテクノロジを整理してご紹介します。
1. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
@kuwazzy
2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBI
なぜ、CData が Power BI 専用 コネクターを
開発したのか?
2. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Today’s agenda
1. 自己紹介
2. CData Power BI Connectors とは
3. Power BI 標準 + CData Power BI Connectorsで接続できるデータソース
4. CData Power BI Connectors の使い方
5. オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
6. DirectQuery
• 撮影OK、Tweet (#pbijp) 大歓迎
• 詳細は15:30 –のDev側セッションへ(4-6.を解説)!!
• 資料はCompassに(Slideshareのリンクを) Upします
3. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
自己紹介
桑島 義行 @kuwazzy
CData Software Japan 合同会社 技術担当ディレクター
専門
データベーステクノロジー
データアナリティクス
Web API
PBIJP歴 : 2回目
[Power BI 勉強会 @ 東京 #8] グラフ構造のデータモデルをPower BIで可視化してみた
https://www.slideshare.net/cdatajapan/power-bi-100071632/cdatajapan/power-bi-100071632
Twitter : @kuwazzy
Facebook : Yoshiyuki.Kuwajima
SlideShare:
http://www.slideshare.net/cdatajapan
Qiita : http://qiita.com/kuwazzy
Github : https://github.com/kuwazzy
Codezine : https: //github.com/kuwazzy
4. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
CDatα Software = 3rd Party データドライバー屋
CData Softwareとは
100+種類のデータソース 標準インタフェース
あらゆるツールや言語から様々なデータソース に“同じように“アクセスする事を実現
6. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Power BI のデータソース を大幅に拡張
CData Power BI Connectorsとは
ビルトイン83
種類 (※1)
100+種類
※1 2018/09/02 登壇者調べ
(参考) Data sources in Power BI Desktop
https://docs.microsoft.com/en-us/power-bi/desktop-data-sources
データソース ビジュアライズ
7. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Power BI 専用コネクターだと何が良いのか?
• ODBCだとインポートモードしか使えない
(=DirectQueryが使えない)
• インポート時に全レコードをサーチして時間がか
かるし、APIリミットや、サーチ量による無駄な課
金が発生
• 利用者に「ODBC経由で様々なデータソース に
接続出来る」というイメージを持って頂けない
ODBCだとダメなの?
8. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Power BI 専用コネクターの特徴
CData Power BI Connectorsとは
• Power BIのカスタムコネクター (※1)
• 100+ のデータソース
• NoSQLや国内で人気のクラウドアプリケーションをサ
ポート
• DirectQuery モード (※2) をサポート
• オンプレミス データ ゲートウェイ (※3) で
PowerBI.comへ発行
※1 (参考) Power BI でのコネクタの機能拡張
https://docs.microsoft.com/ja-jp/power-bi/desktop-connector-extensibility
※2 (参考) Power BI Desktop の DirectQuery
https://docs.microsoft.com/ja-jp/power-bi/desktop-use-directquery
※3 (参考)オンプレミス データ ゲートウェイ
https://docs.microsoft.com/ja-jp/power-bi/service-gateway-onprem
9. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
ここにアクセス!!
昨夜(9/7)、日本語ページ(プレ)オープン
https://www.cdata.com/jp/ https://www.cdata.com/jp/powerb
i
10. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Power BI 標準+ CData Connectorsで
接続できるデータソース
11. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Power BI CData
Excel Excel
Text/CSV CSV
XML XML
JSON JSON
Folder
Excel Online
Google Sheets
OFX
ファイル・データベース(1)
ファイル
サービスプロバイダ 接続例
ローカル URI=C:folder1;
HTTP またはHTTPS URI=http://www.host1.com/streamname1;
Amazon S3
URI=s3://bucket1/folder1; OAuthAccessTokenSecret=secret1;
OAuthAccessToken=token1;
Google Drive URI=gdrive://folder1;
Box
URI=box://folder1; OAuthClientId=oauthclientid1;
OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;
Sharepoint URI=sp://Documents/folder1; User=user1; Password=password1;
FTP またはFTPS URI=ftps://localhost:990/folder1; User=user1; Password=password1;
ローカルPCのファイルだけでなく、クラウドストレージ内のファイ
ル(CSV, XML, JSON)も読める
Excel Online版、Google SpreadSheetも読める
Power BI CData
Access Database Access
SQL Server Analysis
Services Database
SQL Server Analysis
Services
IBM DB2 Database DB2
MySQL Database MySQL
PostgreSQL Database Postgresql
Sybase Database Sybase
Oracle Database -
SQL Server Database -
IBM Netezza -
IBM Informix database -
- Sqlite
- Xbase
Btrieve
RDB
※ 緑:リリース 黄色:ベータ・開発中
Power BI 標準 + CData Connectorsで接続できるデータソース
12. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
データベース(2)
Power BI 標準 + CData Connectorsで接続できるデータソース
Power BI CData
Azure SQL Database
Azure SQL Data Warehouse
Azure Analysis Services
database
Azure Analysis
Services
Azure Blob Storage
Azure Table Storage Azure Table
Azure Cosmos DB Azure CosmosDB
Azure Data Lake Store
Azure HDInsight (HDFS)
Azure HDInsight Spark
HDInsight Interactive Query
Azure KustoDB (beta)
Microsoft Azure Consumption
Insights
Azure Data
Management
Common Data Service for
Apps
Power BI CData
Cassandra
Couchbase
DynamoDB
MongoDB
Redis
IBM Cloudant NoSQL DB
HarperDB
Google Cloud Spanner
Amazon Athena
Power BI CData
Teradata Database Teradata
SAP HANA Database SAP HANA
Amazon Redshift Amazon Redshift
Google BigQuery Google BigQuery
Snowflake Snowflake
Exasol
SAP BW Application
Server
SAP BW Message Server
Vertica
HPCC
SlicingDice
Greenplum
MarkLogic
Power BI CData
Splunk
Elasticsearch
Spark SparkSQL
Impala Cloudera Impala
Hadoop File (HDFS) -
Apache HBase
Apache Hive
DWH
NoSQL
Search / Hadoop / Spark
Azure・PowerApps
特にNoSQL系のデータソー
ス が充実
※ 緑:リリース 黄色:ベータ・開発中
13. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
顧客管理
Power BI CData
Dynamics 365 (online) Dynamics365CRM
Dynamics 365 for
Customer Insights
DynamicsCRM (Onpre)
Salesforce Objects Salesforce
Salesforce Reports Salesforce
Salesforce Chatter
ZohoCRM
SugarCRM
SuiteCRM
OracleSalesCloud
SAP HybrisC4C
ActCRM
Highrise CRM
PCA商魂&商管DX
Zendesk Zendesk
クラウドサイン
Power BI CData
Dynamics 365 BC Dynamics 365 BC
Dynamics NAV Dynamics NAV
Dynamics 365 FO
Dynamics GP
Netsuite
SAP Netweaver
SAP Business One
Odoo
Acumatica
Exact Online
QuickBooks Online QuickBooks Online
QuickBooks Desktop / POS
Xero
FreshBooks
Reckon
Sage50UK
Intacct
SAP Concur
PCA会計
Moneyforward 請求書・経
費
Power BI CData
Marketo Marketo
Eloqua
HubSpot
Salesforce Marketing Cloud
ActOn
Sendgrid
マーケティング
ERP・会計
SaaS・ビジネスアプリケーション (1)
Power BI CData
SharePoint (Online) SharePoint
SharePoint Folder / List SharePoint
Excel
Services(SharePoint)
Office 365
Google Calendar
Google Contacts
ServiceNow
Smartsheet Smartsheet
tyGraph
kintone
MS Project
VS Online
Jira
Basecamp
GitHub GitHub
Visual Studio Team Services
TeamDesk
グループウェア・コラボレーション
国内で人気のクラウドアプリケーションが対応
※ 緑:リリース 黄色:ベータ・開発中
Power BI 標準 + CData Connectorsで接続できるデータソース
14. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Power BI CData
MailChimp MailChimp
SparkPost
SweetIQ
Google Analytics Google Analytics
Adobe Analytics
Google Adwords
DoubleClick CM
DoubleClick FP
appFigures
Mixpanel
Youtube
YouTube Analytics
Google Search
Bing
Bing Ads
Youtube
YouTube Analytics
Webtrends
メール配信・SEO・広告・動画
Power BI CData
Facebook Facebook
Twitter
Instagram
LinkedIn
SNS
Power BI CData
Gmail
Microsoft Exchange
Online
Exchange
Microsoft Exchange Exchange
Email
Slack
メール・チャット
Power BI CData
Stripe Stripe
Shopify
Square
Paypal
AuthorizeNet
Amazon Marketplace
Ebay
Etrade
Magento
Open Exchange Rates
Quandl
Power BI CData
Twilio Twilio
Data.World - Get Dataset
comScore Digital Analytix
Planview Enterprise One -
PRM
Planview Projectplace
Planview Enterprise One -
CMT
Wordpress
Survey Monkey
決済・EC
SaaS・ビジネスアプリケーション (2)
その他
Power BI CData
Power BI データセット
1010Data
Salesforce Einstein
Analytics
BI
Power BI CData
Google Drive
Box
Dropbox
Evernote
オンラインストレージ
Power BI CData
Active Directory Active Directory
LDAP
Google Directory
ディレクトリ
多彩なデータソースあり
Power BI 標準 + CData Connectorsで接続できるデータソース
15. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
標準インタフェース・プログラミング言語
Power BI CData
Web
OData Feed OData
REST
RSS
R Script
Blank Query
ODBC
OLE DB
FTP
規格・プログラミング言語
一般的なREST APIをもつサービス・アプリケーションであれ
ば接続が可能
https://qiita.com/kuwazzy/items/86564f27c39b4825a0bf
https://qiita.com/kuwazzy/items/5c35bf53ea0e493f5784
https://qiita.com/kuwazzy/items/bc6439bb2a2e36c876a9
https://qiita.com/kuwazzy/items/463da23152d0c4cfdde5
https://qiita.com/kuwazzy/items/89194f642f77371d2662
https://qiita.com/kuwazzy/private/24ce990c6412cc4022b2
https://qiita.com/sugimomoto/items/2837fd644ce78bc6c8fb
https://qiita.com/sugimomoto/items/1262eae4056f092ad8df
http://kageura.hatenadiary.jp/entry/2017/12/12/%E8%AB%8B
%E6%B1%82%E6%9B%B8%E4%BD%9C%E6%88%90%E3
%82%B5%E3%83%BC%E3%83%93%E3%82%B9Misoca%E
3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%82
%92Power_BI_%E2%98%93_CData_REST_ODBC%E3%83
%89%E3%83%A9%E3%82%A4%E3%83%90
接続記事
Power BI 標準 + CData Connectorsで接続できるデータソース
17. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
CData Power BI Connectors の使い方
“実現できる事”
Power BI標準では接続出来ないサイボウズのkintone内の顧客一覧と案件一覧を集計・可視化
18. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
手順 1
1. Power BI kintone Connectorsをダウンロー
ド
※ 全データソース 、30日間の無償評価版あり
※ 現在、英語版ビルドでのご提供(日本語版をご提供予定)
https://www.cdata.com/jp/powerbi/
2. インストール
CData Power BI Connectors の使い方
19. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
3. 接続設定
製品マニュアルにデータソース 毎の接続に必要なプロパティが記載
手順 2
CData Power BI Connectors の使い方
20. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
4. Power BI Desktop – データを取
得
手順 3
CData Power BI Connectors の使い方
21. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
5. テーブル(kintoneのアプリ)を選択 6. リレーションシップの設定
手順 4
CData Power BI Connectors の使い方
22. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
6. ビジュアライズ
手順 5
CData Power BI Connectors の使い方
23. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
オンプレミスゲートウェイを使用したPower BI
Service へのデータ更新
24. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
Power BI Desktopで作成したkintoneデータソースのレポートを
PowerBI.comに発行してデータを定期更新
Power BI
サービス
powerbi.com
(参考) https://docs.microsoft.com/ja-jp/power-bi/service-gateway-onprem
データ ソース Live/DirectQuery
ユーザー構成による手動更新また
はスケジュールされた更新
Analysis Services 表形式 はい はい
Analysis Services 多次元 はい はい
ファイル いいえ はい
フォルダー いいえ はい
IBM DB2 いいえ はい
IBM Informix データベース いいえ はい
IBM Netezza はい はい
Impala はい はい
MySQL いいえ はい
OData いいえ はい
ODBC いいえ はい
Oledb いいえ はい
Oracle はい はい
PostgresSQL いいえ はい
SAP BW はい はい
SAP HANA はい はい
SharePoint リスト (オンプレミス) いいえ はい
Snowflake はい はい
SQL Server はい はい
Sybase いいえ はい
Teradata はい はい
Web いいえ はい
Power BI標準で使用可能なデータソースの種類の一覧
“実現できる事”
25. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
手順 1
1. On-Premis gatewayをダウンロード 2. インストール
オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
(参考) https://docs.microsoft.com/ja-jp/power-bi/service-gateway-install
※ エンタープライズゲートウェイ、パーソナルゲートウェイどちらでも利用可能
(参考) https://powerbi.microsoft.com/en-us/gateway/
26. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
手順 2
3. カスタムデータコネクタの設定
オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
(参考) オンプレミス データ ゲートウェイでカスタム データ コネクタを使用する
https://docs.microsoft.com/ja-jp/power-bi/service-gateway-custom-connectors
27. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
手順 3
4. PowerBIサービス側のゲートウェイの設定
オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
データソースの種類の一覧に前手順で設定
したカスタムデータコネクタが表示される
Data Source Nameには、ODBCのDSN名を
設定
28. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
手順 4
5. Power BI Desktopのレポートを
Power BIサービスへ発行
オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
6. 発行されたデータセットをスケジュール設定
29. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
手順 5
7. Power BI サービス内のkintoneレポートが定期的に最新データを読み込み
オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
31. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Direct Query
Power BI DesktopのDirectQuery
(ご参考) Power BI Desktop の DirectQuery
https://docs.microsoft.com/ja-jp/power-bi/desktop-use-directquery
•Amazon Redshift
•Azure Databricks
•Azure HDInsight Spark (Beta)
•Azure SQL Database
•Azure SQL Data Warehouse
•Google BigQuery (ベータ版)
•IBM Netezza (ベータ)
•Impala (バージョン 2.x)
•Oracle データベース (バージョン 12 以降)
•SAP Business Warehouse Application サーバー
•SAP Business Warehouse メッセージ サーバー (Beta)
•SAP HANA
•Snowflake
•Spark (ベータ) (バージョン 0.9 以降)
•SQL Server
•Teradata データベース
•Vertica (Beta)
Power BI標準でDirectQueryが使用可能な
データソースの種類の一覧
DirectQuery を使用する場合の利点は次のとおりです。
•DirectQuery なら、他の方法では全データをインポートするこ
と自体が不可能なほど大きなデータセットでも事前集計を使用
して視覚化を作成できます。
•元になるデータが変更されるとデータの更新が必要になる場合
があり、レポートによっては、現在のデータを表示しなければ
ならない場合に大きなデータの転送が必要になって、データの
再インポートが不可能になることがあります。 対照的
に、 DirectQuery レポートは常に現在のデータを使用します。
•データセットの 1 GB 制限は、DirectQuery には適用されませ
ん。
DirectQueryモードで
動作させるには
32. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Direct Query
“実現できる事”
Import
Power BI
SELECT deviceId, sum (value) FROM
DeviceLog
1億件
2GB
DirectQuer
y
SELECT * FROM DeviceLog
データソース
1億件
2GB
1GB
まで
デバイスのレコード
件数のみ
全件インポート出来ない大量データをデータソースサイドで事前集計する事が出来る
33. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Direct Query
MongoDBでの確認
ドキュメント型(JSONでデータを保持) NoSQLの代表格MongoDB
mLab(※1)を使用して、一つのコレクション(テーブルに相当)に約17万件のデバイスログデータ
を格納
※1 mLab : MongoDBのDaas(Database as a Service)
https://mlab.com/
34. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
Direct Query
Import vs DirectQuery
Import DirectQuery
レポートは同じ
Valueという数値項目の
集計値をカードに表示
66 秒 8秒
Executed query: [SELECT sum("value") AS "C1" FROM
"CData"."cdataj"."DeviceLog"]. Success: (1356 ms).
Executing query: [SELECT "_id", "value" FROM
"CData"."cdataj"."DeviceLog"].
35. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB
是非お試しください
最後に
全データソース 30日間の無償トライアルあります
分からないことがあれば[email protected] までお問い合わせください!!
https://www.cdata.com/jp/powerbi/ https://www.cdata.com/jp/subscriptions/powerbi/#purchase