![[Oracle big data jam session #1] Apache Spark ことはじめ](https://cdn.slidesharecdn.com/ss_thumbnails/oraclebigdatajamsession1apachesparkquickstart-191127094941-thumbnail.jpg?width=560&fit=bounds)
![[DI15] Build 2017 Updates ～ Azure Database for MySQL/PostgreSQL 最速紹介](https://cdn.slidesharecdn.com/ss_thumbnails/di15-170614044001-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to 機械学習基盤として活用するAutonomous Database (20)
![【旧版】Oracle Autonomous Database Cloud サービス紹介資料 [2020年/3月版]](https://cdn.slidesharecdn.com/ss_thumbnails/200326oracledatabasecloudupdatefinalext-200326133418-thumbnail.jpg?width=560&fit=bounds)
![[Modern Cloud Day Tokyo 2019] KubeConに登壇したCloud Native Labsのエンジニアが、初学者にも分かりやす...](https://cdn.slidesharecdn.com/ss_thumbnails/mcd19d-5-190826051845-thumbnail.jpg?width=560&fit=bounds)
![【旧版】Oracle Cloud Infrastructure：サービス概要のご紹介 [2020年4月版]](https://cdn.slidesharecdn.com/ss_thumbnails/ocioverviewdl200421-200421090231-thumbnail.jpg?width=560&fit=bounds)
![[Modern Cloud Day Tokyo 2019] Oracle Functions ＝ サーバーレス × Dockerコンテナ：AWS Lamb...](https://cdn.slidesharecdn.com/ss_thumbnails/mcd19d-6-190826051605-thumbnail.jpg?width=560&fit=bounds)
![[第37回 Machine Learning 15minutes!] Microsoft AI - Build 2019 Updates ～ Azure ...](https://cdn.slidesharecdn.com/ss_thumbnails/20190629ml15azuremlbuild2019updates-190630053028-thumbnail.jpg?width=560&fit=bounds)
![次世代インフラ基盤登場！Oracle Cloud IaaS 最新サービス・アップデート [Oracle Cloud Days Tokyo 2016]](https://cdn.slidesharecdn.com/ss_thumbnails/clouddays2016d1-i3-161122132852-thumbnail.jpg?width=560&fit=bounds)
Ad
More from Kenichi Sonoda (12)
![[Oracle Code Night] Reinforcement Learning Demo Code](https://cdn.slidesharecdn.com/ss_thumbnails/20210831orajam7crypto-210921030945-thumbnail.jpg?width=560&fit=bounds)
![[Code night 20200531]machine learning for begginer generation of virtual rea...](https://cdn.slidesharecdn.com/ss_thumbnails/codenight20200531machinelearningforbegginergenerationofvirtualrealitybynext-generationaigan-210604024223-thumbnail.jpg?width=560&fit=bounds)
![20210226[oracle code night] 機械学習入門：ディープラーニングの基礎から転移学習まで](https://cdn.slidesharecdn.com/ss_thumbnails/20210226oraclecodenightmlforbeginer-210226132432-thumbnail.jpg?width=560&fit=bounds)
![[Code night] natural language proccessing and machine learning](https://cdn.slidesharecdn.com/ss_thumbnails/codenightnatuallanguageproccessingandmachinelearning-201202045342-thumbnail.jpg?width=560&fit=bounds)
Ad
機械学習基盤として活用するAutonomous Database
- 1. 機械学習基盤として活用する Autonomous Database 園田 憲一 Oracle Groundbreaker Advocate Cloud Solution Engineer Oracle Corporation Japan Dec 17, 2021
- 2. 自己紹介 日本オラクル入社後、Exadata製品担当、IaaS製品担当を経て、 ビッグデータおよび機械学習のクラウド技術を担当。 ”複雑な技術をわかりやすく”をモットーに Data Management & Analytics の分野で Oracle Groundbreaker Advocate として活動。 Connpass にて機械学習のmeetup “Oracle Big Data Jam Session”を定期開催しております。 ご興味ある方はぜひ！ご参加ください！ https://oracle-code-tokyo-dev.connpass.com/
- 3. Oracle Autonomous Database AI/機械学習を利用した完全自動運用 チューニングをはじめとしたDB運用は消滅 完全な マネージド サービス 1CPU単位でCPUを無停止で増減可能 ワークロードに応じた自動増減も可能 CPU/ストレージは1秒間単位で課金 完全な 柔軟性 あらゆるワークロード(OLTP/分析/混在) あらゆるデータタイプ(構造化/JSON/グラフ等) 1つのデータベースで対応可能 完全な マルチモデル Autonomous Database 運用管理が自動化された、スケールアップ可能なクラウド・データベース Copyright © 2021 Oracle and/or its affiliates
- 4. One Stopの機械学習環境 Autonomous Database Autonomous Database 機械学習に必要な全てのツールがセットアップ済、インスタンス作成後すぐに利用可能 OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R Oracle Machine Learning AutoML UI SQL Oracle Application Express Database Action Oracle Machine Learning Notebook あらゆるWebアプリケーションをGUI ベースで容易に構築できる開発ツー ル(Web UI) Oracle Databaseに実装された機械 学習の実行処理エンジン(Oracle AutoML実装済) 運用・管理が自動化されたスケール アップ可能なクラウドデータベース Apache Zeppelinベースの Notebookインタフェース。 SQL/Python/Rをサポート コーディング不要、 GUIのみのシンプル なワークフローで機械学習を実行でき るインタフェース(WebUI) 主要開発言語による機械学習の実 行ライブラリ データのロードやあらゆるSQL処理を 実行するための統合開発環境(Web UI) ※OML4RはAutonomous Databaseでは将来サポート予定 Copyright © 2021 Oracle and/or its affiliates
- 5. データベース・アクションによる学習データのロード データのロードから、SQLのコード開発をGUIベースでシンプルに スキーマや表構 造の表示 SQL入力ペイン 様々な操作とSQLの実行結果の表示 • インスタンス作成後、すぐに利用可能 • Web UIから簡単にデータロード • SQL、PL/SQL文をワークシート 表の作成、データの挿入、データの選択 トリガーの作成と編集 ファイルへのデータの保存 • 一部のデータベース監視、管理作業が可能 アラートログエントリ セッション情報 表領域、セグメントの使用状況 待機イベント 初期化パラメータ リアルタイムSQLモニタリング OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook Copyright © 2021 Oracle and/or its affiliates
- 6. • SQL (OML4SQL) • データをグラフィカルなチャートで確認しながら、集計処理 し学習データ、評価データの作成が可能 • PL/SQLプロシージャ(dbms_data_mining)により簡単に モデル作成、評価、予測、各種チャートの作成が可能 • Python (OML4Py) • PandasのDataFrameとしてDBの表やビューを操作 • 自動管理されたPythonエンジン上にユーザ定義の Python関数を実行、デプロイ • R (OML4R) • R DataFrameオブジェクトとしてDBの表やビューを操 作 • 統計処理、データ準備、データ探索のオフロードを広い 範囲でサポート • 自動管理されたRエンジン上に、ユーザ定義のR関数を 実行、デプロイ Oracle Machine Learning for SQL / Python / R 分析 OML Notebook OML4Py OML4R SQL OML4SQL • OML Notebook • Apache Zeppelinベースのnotebookインターフェイス • データの把握、前処理、機械学習の実行、予測モデル の管理 Oracle Database OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook 主要な開発言語をサポート ※OML4RはAutonomous Databaseでは将来サポート予定 Copyright © 2021 Oracle and/or its affiliates
- 7. Oracle Machine Learning Notebooks What it is • Apache Zeppelinベースのnotebookインターフェイス • インスタンス作成後、すぐに利用可能、セットアップ不要 • データサイエンティスト、データアナリスト、DBA、アプリ開発者が ADB上で使用可能 • データの把握、前処理、機械学習の実行、予測モデルの管理 など機械学習に必要な全ての作業を実行可能 Benefits • データサイエンスチームがADB上でコラボレーションできる統合 環境 • データサイエンスチーム間でノウハウをドキュメント化して共有 OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook データの把握、前処理から機械学習の全ての作業を実行 Copyright © 2021 Oracle and/or its affiliates
- 8. OML AutoML UI (1) 学習データの表を指定 予測したい列を選択 予測問題のタイプを指定 複数アルゴリズムで学習を実行 予測モデルに寄与した特徴量のランキング 各予測のスコア What it is • モデルを自動ビルドし、管理・デプロイ を可能にするノーコードのユーザインター フェイス • データベース内の表と予測対象列のみ を指定するシンプルなワークフロー • 複数アルゴリズムで同時に自動学習し、 自動スコアリング Benefits • データサイエンティストの生産性を向上 • 専門知識無しでも機械学習を身近な ものに • アルゴリズムの詳細の知識不要 • モデル管理とデプロイをシンプルに 学習 GUIベース、ノーコードの機械学習インタフェース OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook Copyright © 2021 Oracle and/or its affiliates
- 9. OML AutoML UI (2) Notebookの実行ケジューリング 学習済みモデルからコードを自動生成 学習済みの予測モデル • 構築された予測モデルから、実行コードをOML Notebookに自動 生成 • 予測モデルを更にチューニングしたり、コードを追記することで処理 内容を拡張することが可能 • 生成したNotebookをジョブ化し、スケジュール実行が可能 • 業務処理(学習処理や予測処理)をバッチアプリケーションと してスケジューリング実行する運用が可能に 学習処理や予測業務をバッチ処理化＆スケジューリング OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook Copyright © 2021 Oracle and/or its affiliates
- 10. OML AutoML UI (3) ソースコードのバージョニング • コードの追加、変更後、任意の時点 でのコードにバージョンを付与 • 任意の時点のコードをオリジナルにリ ストア • 任意の時点のコードから新規ノート ブックの作成 • バージョニングのノートブックは閲覧の み可能(編集、実行は不可) Version 1.0 コードの追加、変更 コードの追加、変更 コードの追加、変更 オリジナルノートブック (編集、実行可) Version 1.1 コードの追加、変更 コードの追加、変更 Version 1.2 バージョニング (編集、実行不可) バージョニングとリストア 新規オリジナルノートブック (編集、実行可) 新規ノートブック作成 OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook Copyright © 2021 Oracle and/or its affiliates
- 11. OML AutoML UI (4) 構築された予測モデル 予測モデルをREST サービスとして実装 予測モデルをデプロイ 予測したいデータをRESTクライアントからコール 予測結果が得られる • 予測モデルをデプロイすることでRESTサービスとして予測アプリケーションの構 築が可能 • 予測アプリケーションのRESTエンドポイントに予測データを投げることで予測 結果をえることが可能 予測モデルをデプロイし、予測処理をAPIコール可能に OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook Copyright © 2021 Oracle and/or its affiliates
- 12. Oracle Application Express(APEX) GUIベースで開発が可能なWeb Application Builder、予測レポートの結果確認に APEX開発画面 予測値レポート画面 • GUIベース、コーディングなしでウェブ・アプリケーションを開発できるWeb UI開発環境 • DBインスタンス作成後、すぐに利用可能、ツールのインストールやウェブサーバーの等は不要 • 多数のアプリケーションテンプレートが利用可能 • 50万人超の開発者コミュニティ OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook Copyright © 2021 Oracle and/or its affiliates
- 13. Auto Machine Learning 自動特徴量選択 – 最も予測に寄与する特徴量の 特定によって特徴量の数を削減 – パフォーマンスと精度の向上 自動アルゴリズム 選択 手あたり次第にアルゴリズ ムを探すよりも格段に速く 自動特徴量 選択 データノイズと特徴量の 数を削減 自動モデル チューニング 正確性の向上に大きく貢献 ML Model 自動アルゴリズム選択 – モデルのクオリティを向上させること のできるデータベース内アルゴリズム を特定 – 手あたり次第のアルゴリズム探しよ りも格段に速く最適なアルゴリズム を選択 自動モデルチューニング – アルゴリズムハイパーパラメータの 自動チューニング – 手作業や総当たりの最適パラ メータ探しが不要 データ テーブル OML4SQL Oracle Machine Learning (OML) Oracle Database OML4Py OML4R AutoML UI Oracle Application Express SQL Developer Web UI Notebook 自動化によりデータサイエンティストの生産性を向上 Copyright © 2021 Oracle and/or its affiliates
- 14. デモンストレーション
- 15. 14個の属性 CRIM： 犯罪率 ZN：広い家の割合(25,000平方フィートを超える住宅地の割合) INDUS：非小売業の割合 CHAS：チャールズ川隣接状況(隣接の場合：1、隣接していない場合：0） NOX： 一酸化窒素濃度 RM：平均部屋数 AGE：築古の割合(1940年より前に建てられた持ち家の割合) DIS：主要施設への距離(ボストン雇用センターまでの加重距離) RAD：主要高速道路へのアクセス性指数 TAX：固定資産税率(10,000ドル当たり) PTRATIO：生徒と先生の比率 LSTAT：低所得者人口の割合 MEDV：住宅価格(1000ドル単位の中央値) 説明変数 目的変数(予測対象) 学習データ デモ・シナリオ： ボストン住宅価格データを学習し、様々な条件の住宅の価格を推論する回帰問題 Copyright © 2021 Oracle and/or its affiliates
- 16. デモの流れ 学習用データ(CSV) 予測用データ(CSV) 学習用テーブル 予測用テーブル AutoML UI ノートブック ①データのローディング ②予測モデルの構築 予測モデル ③予測 ⑦ノートブックのジョブ化 ⑥ソースコードのバージョニング ノートブックの生成 REST ⑤デプロイ ④予測結果のレポート(APEX) APEX 予測用データ 予測結果 REST コマンド Copyright © 2021 Oracle and/or its affiliates
- 17. 用途に応じたクラウドサービスの組み合わせ Object Storage Autonomous Database Data Integration Data Flow Oracle Machine Learning APEX Container Engine For Kubernetes Data Science Machine Learning Pre-Processing ETL Application Service Data Catalog Data Lake Metadata Management Analytics Cloud Service Business Intelligence Streaming Service Connector Hub Functions Realtime Analysis Copyright © 2021 Oracle and/or its affiliates
- 18. 「Autonomous Database かんたん機械学習」 デモ動画と概説 デモ動画の概説ブログ(Qiita) https://qiita.com/ksonoda/items/529463c a37f9eeec2dee デモ動画(Youtube) https://www.youtube.com/playlist?list=PL8 x2FJpi0g-tkB8X5dmNC3TribgreVwwR Copyright © 2021 Oracle and/or its affiliates
- 19. Thank you Copyright © 2021 Oracle and/or its affiliates