Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Download as PPTX, PDF•0 likes•1,133 views
[2019/8/8(木)大阪]既存のデータベースをクラウドで活用してみませんか？2019 IN 大阪 古谷幹則様 Attunity日本支社 日本支社長
![22© 2017 Attunity
Attunity Replicate 移行事例[楽天市場]
22
• 対象システム：基幹システム（会員情報管理DB）
• 課題
– 移行したいが停止時間が３時間しか取れない
– 移行対象データベースが300GB/90テーブル（8000万会員データ）
– 短時間にデータ整合性を確認するためにどうするか
• 対策案：
– Attunity Replicateでリアルタイムでデータ連携を利用して移行
– データ整合性は、HASH値のSUMを取得することで2億件/300GBのデータ比較を10分で完了
CDC Incremental
移行元データベース 同期ツール 移行先データベース
Oracle10g 3node RAC / AIX Attunity Replicate
Oracle11g Exadata
3node RAC](https://image.slidesharecdn.com/190808session2-190809064239/85/Attunity-22-320.jpg)
![23© 2017 Attunity
Attunity Replicate 移行事例[NTTぷらら]
23
• 対象システム：ユーザのサービス管理、課金情報
• 課題
– 移行したいが停止時間が３時間しか取れない
• 対策案：
– Attunity Replicateでリアルタイムでデータ連携を利用して移行
移行元データベース 同期ツール 移行先データベース
Oracle10g
DataGuard
Attunity Replicate
Oracle11g
2node RAC
CDC Incremental
事前作業に16.5時間
当日のサービス停止・開放に1時
間
当日のデータ移行に8.5時間
当日のサービス確認に4時間
当日のバッチのリカバリに6時間
サービス停止時間
13.5時間
サービス停止時間
6時間
事前作業に24時間
当日のサービス停止・開放に1時間
当日のデータ移行に0.3時間
当日のサービス確認に4時間
当日のバッチのリカバリに2時間](https://image.slidesharecdn.com/190808session2-190809064239/85/Attunity-23-320.jpg)
![24© 2017 Attunity
Attunity Replicate 移行事例[大手通信]
24
• 対象システム：通信機器管理システム
• 課題
– 移行したいが停止時間が4時間しか取れない
– 移行対象データベースが約200インスタンス(トータル：130万テーブル)
• 対策案：
– Oracle SE RACを適用し、Attunityでリアルタイムでデータ連携を利用して移行
CDC Incremental
移行元データベース 同期ツール 移行先データベース
Oracle10g EE / HP-UX Attunity Replicate Oracle11g SE RAC / RHEL](https://image.slidesharecdn.com/190808session2-190809064239/85/Attunity-24-320.jpg)
![25© 2017 Attunity
Attunity Replicate 移行事例[某自動車会社]
25
• 対象システム：インターネット見積りシステム
– 既存データベース(DB2)をPostgreSQLへ移行したい
• 課題
– データベース移行時の停止時間を最小化したい
– 異機種データベース間のオブジェクト定義差を極力手間をかけずに移行したい
• 対策案：
– 異種間で異なるデータ定義をAttunityReplicateで吸収し、最小ダウンタイム移行を実現
CDC Incremental
移行元データベース 同期ツール 移行先データベース
DB2 Ver8.2 Attunity Replicate PostgreSQL Ver9](https://image.slidesharecdn.com/190808session2-190809064239/85/Attunity-25-320.jpg)
![27© 2017 Attunity
Attunity Replicate リアルタイム同期事例[某通信業]
27
• 対象システム：ERPシステム(Oracle E-Business Suite)
• 課題
– 分析にも使用したいが負荷をかけることが出来ない
– パッケージ製品でデータベースオブジェクトの変更が困難
– リアルタイム分析が可能でERPシステムに負荷をかけないこと
• 対策案：
– 分析用データベースを設置し、リアルタイムでデータ連携
CDC Incremental
移行元データベース 同期ツール 移行先データベース
Oracle11gR2 Attunity Replicate Oracle11gR2](https://image.slidesharecdn.com/190808session2-190809064239/85/Attunity-27-320.jpg)
![28© 2017 Attunity
Attunity Replicate リアルタイム同期事例[某電子書籍]
28
• 対象システム：課金管理システム
• 課題
– 分析にも使用したいが負荷をかけることが出来ない
– リアルタイム分析が可能であること
– 課金管理システム(最大60億件/テーブル)に負荷をかけないこと
• 対策案：
– 分析で使用しているTeradataへリアルタイムでデータ連携
CDC Incremental
移行元データベース 同期ツール 移行先データベース
MySQL 5.5 Attunity Replicate Teradata15.0](https://image.slidesharecdn.com/190808session2-190809064239/85/Attunity-28-320.jpg)
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
- 2. 2© 2017 Attunity Copyright @2017 Insight Technology, Inc. All Right Reserved Financial Services Manufacturing / Industrials GovernmentHealth Care Technology / Telecommunications Other Industries Enterprise Data Management On Premises | Cloud | Across Platforms Attunity概要 1988年創業、データ統合において、30年以上にわたる研究開発と経験 CDC（更新データ捕捉）技術における独立系リーディング企業 米国、英国、イスラエル、日本、香港、台湾、韓国など、全世界的事業規模 2019年Qlik社の1事業部門となる 65ヶ国で2,000社以上の顧客
- 3. 3© 2017 Attunity IT大手企業とのパートナーシップ – 多くの企業に認められ、選ばれている技術 Trusted by Microsoft with 3 OEMs, bundled inside SQL Server Trusted by Amazon (AWS) with strategic partnership for cloud database migration Trusted by IBM and Oracle with respective OEMs of Attunity technology Trusted by Teradata and HP as resellers for data warehouse and analytics Trusted by global system integrators Trusted by over 2000 customers for commitment, flexibility and speed 2000+ Trusted by SAP as certified solution in use with over 200 SAP customers Trusted by big data leaders for data lake solutions Trusted by IBM and Oracle with respective OEMs of Attunity technology Trusted by Teradata and HP as resellers for data warehouse and analytics
- 4. 4© 2017 Attunity 4© 2017 Attunity Attunity – 先進のデータ統合テクノロジーリーダー LEADING provider of Streaming CDC あらゆるソースDBに最高のパ フォーマンスと最小のリソー スインパクトで対応 LEADING cloud database migration technology すでに80,000以上のDBを パブリッククラウド上に移行 LEADING in agility and platform coverage データの専門家による複雑な プロセスのパッケージ化と自 動化や先進のユーザ・エクス ペリエンスを提供することで お客様のビジネスを加速 データを効率的に、そしてリアルタイムに、クラウド、データ・レイク、および ストリーミング・アーキテクチャーに連携するための主要プラットフォーム
- 5. 5© 2017 Attunity Overall Peer Rating Product Capabilities Data Replication & Synchronization Bulk/Match Movement Message-Oriented Movement Ease of Deployment ATTUNITY 4.4 out of 5 4.4 4.8 4.8 4.3 4.3 IBM 4.3 out of 5 4.2 3.3 4.3 3.6 3.7 ORACLE 4.2 out of 5 4.4 4.5 4.5 4.1 4.0 INFORMATICA 4.0 out of 5 4.2 4.0 4.4 3.4 3.8 3 4 5 実装の容易さメッセージングへの対応バルク処理への対応データ複製と同期製品機能全体評価 お客様からの高い評価
- 6. 6© 2017 Attunity お客様の声 Attunity Replicateのフルロード機能を使用して、Oracle ExadataからGreenplumへ1時間に10億行以上をロードでき ました。 Attunity Replicateは、 CDC機能を使用して1秒あたり 460,000レコードを大規模でアクティブなOracleデータベース からDWHへ処理しました。 夜間のピーク時には1時間あたり100GBを処理しました。 数週間に及ぶ手作業を試みた後、Amazon Redshiftへのデータ 統合にAttunity CloudBeamを使用、一時間以内に3700万レ コードを処理しました。 Data Architect, Leading Financial Services Company Senior IT Manager, Large Credit Services Company Andy Allaway, Data Scientist, Philips Healthcare “ “ “
- 7. 7© 2017 Attunity 7© 2017 Attunity $205B 2020までに(1) データレイク ストリーミング クラウドオンプレミス データウェアハウス バッチ 次世代のデータアーキテクチャへのシフト 2X DATA 2年毎 (2) 82% リアルタイムの導入 (3)
- 8. 8© 2017 Attunity 8© 2017 Attunity MODERN INTEGRATION リアルタイム ユニバーサル アジャイル 自動化 MODERN PLATFORMS Big Data Cloud データレイク ストリーミング 製品ロードマップの目標 MODERN ANALYTICS AI/ML IoT 予測的 リアルタイム
- 9. 9© 2017 Attunity データ統合を自動化する先進のプラットフォーム メインフレーム SAP OTHER… データベース PaaS DB COMMIT MODEL SAAS アプリケーション ファイル データウェアハウス RDBMS ストリーミング データ・パイプライン オートメーション デザインと管理 生成 配信 精製 change stream クラウドやデー タレイクに 分析用途のための CONFORM OTHER… クラウドとデータレイク OTHER… データウェアハウス Azure SQL DWRedshift
- 10. 10© 2017 Attunity 10© 2017 Attunity 自動化された汎用データのリアル タイム配信 即分析可能なデータ構造の構築を 加速 ATTUNITY REPLICATE ATTUNITY COMPOSE ATTUNITY ENTERPRISE MANAGER インテリジェントな管理、メタデータと制御 Attunityが提供する先進データ統合プラットフォーム
- 11. 11© 2017 Attunity エージェントレス ブラウザベースのGUIによる簡易設定・監視 異種データベース間のテーブル高速データ転送・同期 FULL LOAD(初期コピー)～CDC(変更データ反映)までシームレスに連携 データのフィルタリング・加工 【Target】【Source】 SQL Server 2005/2008/2012/2014 MySQL 5.5/5.6 Sybase ASE 12.5/15/15.5/16 IMS PostgresSQL 9.4.2↑(Win) 9.4(Linux) 主要対応環境 ロジカルレプリケーション（データベース同期） Oracle10g/11g/12c 11 分析サーバ 災対サイト 移行 Attunity Replicate 概要
- 12. 12© 2017 Attunity Attunity Replicateのアーキテクチャ Transfer TransformFilter Batch CDC Incremental In-Memory File Channel Batch On PremisesPersistent Store RDBMS Hadoop Data Warehouse Mainframe Files RDBMS Hadoop Kafka Files Data Warehouse Cloud Zero Footprint Architecture 対応OS(64bit) • Linux Red Hat 6.2 and above • SUSE Linux 11 and above • Windows Server 2008 • Windows Server 2012 • Windows 7 推奨H/Wスペック CPU : Quad core ～8core↑ Memorｙ : 8GB～64GB↑ Disk : 320GB～500GB Network : 1Gbps～10Gbps×2
- 13. 13© 2017 Attunity Logical Replicationのアーキテクチャ Source DB Target DB EMP DEPT SALGRADE EMP DEPT SALGRADE 初期同期 (COPY)
- 14. 14© 2017 Attunity Source DB Target DB Change Data Capture トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE INSERT UPDAT E DELETE Logical Replicationのアーキテクチャ INSERT UPDATE DELETE
- 16. 16© 2017 Attunity 簡易なGUIによるレプリケーション設定 対象DBサーバへのエージェントインストール不要 専用サーバをHUBとして、論理的な同期環境を構築可能 設定はGUIから4ステップで設定完了 16
- 17. 17© 2017 Attunity サポート対象データベース RDBMS Oracle SQL Server DB2 LUW DB2 iSeries MySQL PostgreSQL Sybase ASE Informix Data Warehouse Exadata Teradata Netezza Vertica Hortonworks Cloudera MapR Hadoop DB2 z/OS IMS/DB SQL M/P Enscribe RMS VSAM Mainframe Amazon RDS Salesforce Cloud RDBMS Oracle SQL Server DB2 LUW MySQL PostgreSQL Sybase ASE Informix MemSQL Data Warehouse Exadata Teradata Netezza Vertica Pivotal DB (Greenplum) Pivotal HAWQ Actian Vector Sybase IQ SAP / HANA Hortonworks Cloudera MapR Pivotal Google Cloud Dataproc Amazon EMR Azure HDInsight Hive Hadoop MongoDB NoSQL Amazon RDS/Redshift/EC2 Google Cloud SQL Google Big Query Azure SQL DW Azure SQL Database SnowFlake Cloud Effective: 12/1/2018 Kafka Azure Event Hubs MAPR-ES AWS Kinesis Message Broker targets sources On .... Oracle SQL DB2 SAP
- 19. 19© 2017 Attunity レプリケーションテクノロジーの適用領域 データ分析基盤構築のための データ連携ツールとして 異種のデータ分析基盤へ基幹データを同期して分析したい IoTデータ分析プラットフォームでのデータ連携は、遅延無く行いたい 非構造化データを含むマルチデータソースに対して素早く柔軟にデータ連携を クラウド上のデータ分析基盤へもリアルタイムにデータ連携したい データベース移行時の停止時間を最小化したい 商用データベースをOSSデータベースへ移行したい データ分析基盤を(クラウド上に)再構築したい 異種を含む データベース移行ツールとして
- 20. 20© 2017 Attunity 日本国内でのAttunityReplicateの適用案件数 20 0 5 10 15 20 25 30 35 40 45 50 2012年 2013年 2014年 2015年 2016年 2017年 2018年 MIGRATION Oracle ↓ Oracle Oracle DB2 MySQL SQL Server (Sybase) (zOS/DB2) ↓ Oracle MySQL PostgreSQL SQL Server Teradata Amazon Aurora Azure Database (Kafka) (MongoDB) Oracle DB2 MySQL SQL Server Netezza zOS/DB2 (Sybase) (zOS/IMSDB) ↓ Oracle MySQL PostgreSQL SQL Server Teradata Amazon Aurora Azure Database Azure DW (Kafka) (MongoDB) Oracle ↓ Oracle Oracle DB2 ↓ Oracle PostgreSQL Oracle DB2 MySQL ↓ Oracle PostgreSQL Amazon Aurora Teradata Oracle ↓ Oracle 案件数→
- 22. 22© 2017 Attunity Attunity Replicate 移行事例[楽天市場] 22 • 対象システム：基幹システム（会員情報管理DB） • 課題 – 移行したいが停止時間が３時間しか取れない – 移行対象データベースが300GB/90テーブル（8000万会員データ） – 短時間にデータ整合性を確認するためにどうするか • 対策案： – Attunity Replicateでリアルタイムでデータ連携を利用して移行 – データ整合性は、HASH値のSUMを取得することで2億件/300GBのデータ比較を10分で完了 CDC Incremental 移行元データベース 同期ツール 移行先データベース Oracle10g 3node RAC / AIX Attunity Replicate Oracle11g Exadata 3node RAC
- 23. 23© 2017 Attunity Attunity Replicate 移行事例[NTTぷらら] 23 • 対象システム：ユーザのサービス管理、課金情報 • 課題 – 移行したいが停止時間が３時間しか取れない • 対策案： – Attunity Replicateでリアルタイムでデータ連携を利用して移行 移行元データベース 同期ツール 移行先データベース Oracle10g DataGuard Attunity Replicate Oracle11g 2node RAC CDC Incremental 事前作業に16.5時間 当日のサービス停止・開放に1時 間 当日のデータ移行に8.5時間 当日のサービス確認に4時間 当日のバッチのリカバリに6時間 サービス停止時間 13.5時間 サービス停止時間 6時間 事前作業に24時間 当日のサービス停止・開放に1時間 当日のデータ移行に0.3時間 当日のサービス確認に4時間 当日のバッチのリカバリに2時間
- 24. 24© 2017 Attunity Attunity Replicate 移行事例[大手通信] 24 • 対象システム：通信機器管理システム • 課題 – 移行したいが停止時間が4時間しか取れない – 移行対象データベースが約200インスタンス(トータル：130万テーブル) • 対策案： – Oracle SE RACを適用し、Attunityでリアルタイムでデータ連携を利用して移行 CDC Incremental 移行元データベース 同期ツール 移行先データベース Oracle10g EE / HP-UX Attunity Replicate Oracle11g SE RAC / RHEL
- 25. 25© 2017 Attunity Attunity Replicate 移行事例[某自動車会社] 25 • 対象システム：インターネット見積りシステム – 既存データベース(DB2)をPostgreSQLへ移行したい • 課題 – データベース移行時の停止時間を最小化したい – 異機種データベース間のオブジェクト定義差を極力手間をかけずに移行したい • 対策案： – 異種間で異なるデータ定義をAttunityReplicateで吸収し、最小ダウンタイム移行を実現 CDC Incremental 移行元データベース 同期ツール 移行先データベース DB2 Ver8.2 Attunity Replicate PostgreSQL Ver9
- 27. 27© 2017 Attunity Attunity Replicate リアルタイム同期事例[某通信業] 27 • 対象システム：ERPシステム(Oracle E-Business Suite) • 課題 – 分析にも使用したいが負荷をかけることが出来ない – パッケージ製品でデータベースオブジェクトの変更が困難 – リアルタイム分析が可能でERPシステムに負荷をかけないこと • 対策案： – 分析用データベースを設置し、リアルタイムでデータ連携 CDC Incremental 移行元データベース 同期ツール 移行先データベース Oracle11gR2 Attunity Replicate Oracle11gR2
- 28. 28© 2017 Attunity Attunity Replicate リアルタイム同期事例[某電子書籍] 28 • 対象システム：課金管理システム • 課題 – 分析にも使用したいが負荷をかけることが出来ない – リアルタイム分析が可能であること – 課金管理システム(最大60億件/テーブル)に負荷をかけないこと • 対策案： – 分析で使用しているTeradataへリアルタイムでデータ連携 CDC Incremental 移行元データベース 同期ツール 移行先データベース MySQL 5.5 Attunity Replicate Teradata15.0
- 29. 32© 2017 Attunity Data Lake 事例 32
- 30. 33© 2017 Attunity Ford、Hadoop Data Lake事例 Results DB2 MF SQL Server Oracle 全世界に、社員数20万人、50工場 • 多様なアプリケーション（4500データベース） • 地理的広域に渡る大量のデータ • 分析の遅延 => 機会損失 Challenges • KafkaでHadoopデータレイク上に一元管理 • Attunityで全ソース/ターゲットを最小時間で統合 • 1,000,000ドル(1億円)削減 • グローバルな分析を中央集中化 Hadoop
- 31. 34© 2017 Attunity Ford 構成概要 34 BULK CDC BULK BULK CDC Databases
- 32. 35© 2017 Attunity Zurich Insurance データレイク事例 35 Results DB2 MF SQL Server 1872年にチューリッヒを拠点に設立され、 現在では日本を含む世界170カ国以上に展開 • パフォーマンス改善及び請求処理漏れ低減 • 有効証券請求時にリアルタイムな情報を手に入れるこ とがプロセス改善に必要 Challenges • メタデータを含むトランザクションデータをニアリア ルタイムでデータ分析基盤に反映することで現在発生 しているイベントに対して遅延なく分析 • ソースデータとして社内外の無償・有償の外部データ 及び社内の基幹データベースのデータを分析のために 適用Hadoop
- 33. 36© 2017 Attunity Zurich Insurance 構成概要 36 BULK CDC BULK BULK CDC JSON XML TEXT
- 34. 39© 2017 Attunity Attunity Replicate License 39 ご参考