OCIコンテナサービス関連の技術詳細
Download as PPTX, PDF•0 likes•728 views
OCIのコンテナ関連サービスであるOKE, OCIRについての技術詳細資料です。
![HPA(Horizontal Pod Autoscaling)
• HPAを有効にするためにはメトリクスサーバの
インストールが必要
• HorizontalPodAutoscalerリソースの作成
• 基本的に以下の項目を設定
• targetAverageUtilization(ターゲットになるCPU/
メモリ使用率)
• minReplicas(スケール時のPodの最小数)
• maxReplicas(スケール時のPodの最大数)
VPA(Vertical Pod Autoscaling)
• VPAを有効にするためにはメトリクスサーバの
インストールが必要
• 必要なコンポーネントのインストール
• https://github.com/kubernetes/autoscaler/tree/ma
ster/vertical-pod-autoscaler
• 基本的にはResource Request を実績値から
判断し、自動で調整する仕組み
Cluster Autoscaling
• OKEのプロビジョニング後に手動でCluster
Autoscaling用のPodをデプロイ
• ノードプール毎にスケールルールを設定す
ることで利用可能
Oracle Container Engine for Kubernetes(OKE)でのスケーリング
Copyright © 2021, Oracle and/or its affiliates
11
[opc@oke-client ~]$ kubectl apply -f
https://github.com/kubernetes-sigs/metrics-
server/releases/download/vx.x.x/components.yaml](https://image.slidesharecdn.com/okeocirdetails-210528045123/85/OCI-11-320.jpg)
![• OCI CLIでのWallet取得(OCIコンソールからのダウンロードでも可)
• 取得したWalletを解凍し、kubectlでConfigmapの作成
Configmap (Autonomous DatabaseのWallet)
Copyright © 2021, Oracle and/or its affiliates
29
[opc@oke-client ~]$ oci db autonomous-database generate-wallet --autonomous-database-id [ATPのOCID] --
password [Walletのパスワード] --file [Walletファイル名]
[opc@oke-client ~]$ unzipWallet_tfOKEATPDB.zip -d Wallet_tfOKEATPDB
[opc@oke-client ~]$ kubectl create configmap adb-wallet --from-file=Wallet_tfOKEATPDB](https://image.slidesharecdn.com/okeocirdetails-210528045123/85/OCI-29-320.jpg)
OCIコンテナサービス関連の技術詳細
- 2. 1. OKE/OCIR技術詳細 2. ユースケース例に基づくManifest設定例 3. OKE/コンテナアプリケーションの監視 Agenda Copyright © 2021, Oracle and/or its affiliates 2
- 3. Copyright © 2021, Oracle and/or its affiliates 3 OKE/OCIR技術詳細
- 4. Oracle Container Engine for Kubernetes(OKE) • クラスタの構築方法 • OKEのネットワーク(アプリケーションの公開、 CNI） • OKEの永続化(ファイルストレージ、ブロック ボリューム） • OKEでのサービスカタログ管理(Service Broker) • OKEにおけるスケーリング(HPA/VPA/Cluster Autoscaling) • OKE(API Server)へのアクセス(アクセス制御、 ログ監査) • ロードマップ Oracle Cloud Infrastructure Registry(OCIR) • OCIRの操作方法 • OCIRにおけるイメージ保持ポリシー • ロードマップ この資料でお話すること Copyright © 2021, Oracle and/or its affiliates 4
- 5. 高可用性と開発生産性を両立するKubernetesプラットフォーム Oracle Container Engine for Kubernetes (OKE) Copyright © 2021, Oracle and/or its affiliates 5 ■ ユースケース コンテナ化されたアプリケーションを迅速かつ簡単にデプロイ および管理が可能 ■ 特徴 コンソール上で迅速なクラスタ作成および管理が可能 仮想サーバー/ベアメタルサーバー/GPU/HPCを選択可能 Visual Builder Studio等CI/CDツールと連携することによるシームレ スなビルド、テスト及びデプロイが可能 ■ 価格 Kubernetesのコントロールプレーン(Master Node等)は課金対象外 Oracle Cloud Infrastructure(Compute/BlockVolume/Network/Load Balancer)利用分のみ課金 ■ 関連するOracle Cloud Service • OCI Registry (OCIR) OKE Service Broker Object Storage Streaming Events Database System Container Engine For Kubernetes Virtual Machine Load Balancer Container Registry Container Engine For Kubernetes
- 6. クイック作成 • 必須の入力項目はたったの5つ！！ • クラスタ名 • Kubernetesバージョン • v1.19.7/v1.18.10/v1.17.13から選択(2021/4時点) • Worker Nodeの可視性/Kubernetes APIエンド ポイントの可視性 • プライベート: Private Subnet上に構築 • パブリック: Public Subnetに構築 • シェイプ • VM/BM/GPU/HPCから選択可(CPU数とメモリ量を カスタマイズ可能なflexible shapeもサポート) • ノード数(デフォルト:3ノード) • (option)ボリュームサイズ • デフォルト:50GB(最大32TBまで) Oracle Container Engine for Kubernetes(OKE)の構築 – クイック作成 – Copyright © 2021, Oracle and/or its affiliates 6 関連リソース(ネットワーク等)は自動生成！！
- 7. カスタム作成 • クイック作成に加えて、さらに詳細な項目を 設定可能 • etcdの暗号化 • OCIVault Keyから暗号化キーを選択 • Pod Security Policy(PSP)の実施要否 • VCN(ネットワーク)の設定 • OKEで利用する作成済VCNの選択 • Load Balancerに利用するSubnetの選択 • Kubernetes APIエンドポイントの設定 (Private/Public) • Kubernetesサービス(Cluster IP)のCIDR • PodのIPアドレスのCIDR • OSイメージの選択 • 可用性ドメインの設定 Oracle Container Engine for Kubernetes(OKE)の構築 – カスタム作成 – Copyright © 2021, Oracle and/or its affiliates 7
- 8. OKEでのアプリケーションの外部公開 • Serviceリソースのtype: Load Balancerとして OCI LoadBalancerを利用可能(TCP/HTTP) • 指定可能なオプションは以下。(一部を抜粋) • HTTPSリスナーの利用 • LoadBalancerのshapeの選択 • 10Mbps/100Mbps/400Mbps/8000Mbps • Flexible Shape(LBの動的スケーリング) • Ingress ControllerとしてNGINX Ingress Controller for Kubernetesを利用することも可能 OKEでのCNI(Container Network Interface) • デフォルトはflannel • Network Policyを利用する場合はCalicoもサポー ト(Canalとして利用可能) Oracle Container Engine for Kubernetes(OKE)におけるネットワーク Copyright © 2021, Oracle and/or its affiliates 8 利用可能なオプションは 「metadata.annotation」 配下に指定
- 9. Block VolumeをPersistent Volumeとして利用 • OKEにbuild-inされているCSI(Container Storage Interface)である”oci-bv”を利用してプ ロビジョニング可能 • プロビジョニングはPersistent Volume Claim(PVC)を作成するだけ • 50GBからプロビジョニング可能 Oracle Container Engine for Kubernetes(OKE)における永続化 Copyright © 2021, Oracle and/or its affiliates 9 FSSをPersistent Volumeとして利用 • 予めFSSを作成しておく • StorageClass(SC)/PesistentVolume(PV)を作成 してストレージリソースを作成 • SCでmount targetを指定 • PVでNFS情報やサイズを指定 • 利用時はPersistent Volume Claim(PVC)を作成
- 10. OCI Service Brokerによるサービスカタログ管理 • https://github.com/oracle/oci-service-broker • 以下のOCIサービスを管理可能 • Object Storage • Autonomous Database(ATP/ADW) • Streaming • 各サービスのプロビジョニング時に様々な サービスパラメータを指定可 • Helmチャート(2.x/3.x)でのインストールが可能 • 各サービスのライフサイクルもサポート • Ex)Object Storage • バケットの作成 • バケットのアーカイブ化 • バケットの公開設定など Oracle Container Engine for Kubernetes(OKE)でのサービスカタログ管理 Copyright © 2021, Oracle and/or its affiliates 10 Object Storageプロビジョニング時のパラメータ Streamingプロビジョニング時のパラメータ
- 11. HPA(Horizontal Pod Autoscaling) • HPAを有効にするためにはメトリクスサーバの インストールが必要 • HorizontalPodAutoscalerリソースの作成 • 基本的に以下の項目を設定 • targetAverageUtilization(ターゲットになるCPU/ メモリ使用率) • minReplicas(スケール時のPodの最小数) • maxReplicas(スケール時のPodの最大数) VPA(Vertical Pod Autoscaling) • VPAを有効にするためにはメトリクスサーバの インストールが必要 • 必要なコンポーネントのインストール • https://github.com/kubernetes/autoscaler/tree/ma ster/vertical-pod-autoscaler • 基本的にはResource Request を実績値から 判断し、自動で調整する仕組み Cluster Autoscaling • OKEのプロビジョニング後に手動でCluster Autoscaling用のPodをデプロイ • ノードプール毎にスケールルールを設定す ることで利用可能 Oracle Container Engine for Kubernetes(OKE)でのスケーリング Copyright © 2021, Oracle and/or its affiliates 11 [opc@oke-client ~]$ kubectl apply -f https://github.com/kubernetes-sigs/metrics- server/releases/download/vx.x.x/components.yaml
- 12. OCI IAMを利用したアクセス制御 • KubernetesのRBACAuthorizer機能とOCI IAMを連 携させることでOCIユーザおよびグループを利 用してOKEへのアクセス制御を実施可能 • manifestおよびkubectlコマンド上でユーザ OCIDまたはグループOCIDで指定 • Ex)新しいユーザ/グループにPodの読み取り 権限を追加する場合 • ユーザの作成 • グループへユーザを追加 • OKEクラスタ自体の操作権限を付与(ポリシー） • Roleの作成 • RoleBindingの作成 • OCI Auditを利用したAPI Serverに対するログ監査 やトラブルシューティング Oracle Container Engine for Kubernetes(OKE)へのアクセス Copyright © 2021, Oracle and/or its affiliates 12 Roleの作成 RoleBindingの作成 対象を一意に識別するID (ユーザOCID/グループOCID) この例ではユーザOCIDを指定
- 13. OKE Roadmap • Kubernetes v1.20サポート(コンテナランタイムとしてcontainerdの採用) • OCI Monitoring/OCI Loggingとのさらなる統合 • Worker Nodeの自動修復機能 Oracle Container Engine for Kubernetes(OKE)の今後のロードマップ Copyright © 2021, Oracle and/or its affiliates 13 その他にも様々な機能を追加予定！！ ・ ・ ・ ・ ・
- 14. コンテナ・イメージを管理するプライベート・レジストリ Oracle Cloud Infrastructure Registry (OCIR) Copyright © 2021, Oracle and/or its affiliates 14 ■ ユースケース DockerやKubernetesで使用するコンテナ・イメージをセ キュアに保管、管理するためのプライベート・レジストリ ■ 特徴 Docker v2対応のコンテナレジストリサービス OKEと同一リージョンに展開することによる低レイテンシ ■ 価格 Oracle Cloud Infrastructure(Storage/Network)利用分のみ課金 ■ 関連するOracle Cloud Service • Oracle Container Engine for Kubernetes (OKE) Container Registry OKE Container Engine For Kubernetes Virtual Machine Container Registry
- 15. Oracle Cloud Infrastructure Registry(OCIR)の操作 • Docker Registry HTTP APIV2準拠 • 通常のdockerコマンドで操作可能 • docker login • docker pull • docker push • 認証はAPIトークンベース • docker login時は各リージョンコードを指定 • Ex) 東京リージョンの場合 • docker login nrt.ocir.io • OCIコンソール画面から各種操作も可能 • イメージの可視性の変更(バブリック/プライベー ト) • コンパートメントによるアクセス制御が可能 Oracle Cloud Infrastructure Registry(OCIR)の操作方法 Copyright © 2021, Oracle and/or its affiliates 15
- 16. OCIRのイメージ保持ポリシー • グローバルのポリシーとそれを上書きする オーバライドポリシーの２種類 • グローバルポリシー • レジストリに存在する全イメージに適用 • 指定した日数の間にpullされなかったイメージの削 除 • 指定した日数の間にタグ付けされなかったイメー ジの削除 • 除外タグにより例外設定も可能 • オーバライドポリシー • グルーバルポリシーに対して優先実行 • ルール設定はグローバルポリシーと同様 • 1時間毎にポリシーに沿ってレジストリに チェックが実施され、イメージを保持 Oracle Cloud Infrastructure Registry(OCIR)のイメージ保持ポリシー Copyright © 2021, Oracle and/or its affiliates 16 上書き
- 17. OCIRイメージ署名/検証 • OCIVault機能を利用して、OCIRにプッシュし たイメージに対する署名と検証が可能 • 第三者による意図しないイメージの変更を 防止（悪意を持ったイメージ変更も含む） • OKE側では、イメージの検証を行い、検証が成 功したイメージのみを利用することを強制す ることが可能 OCIRの脆弱性スキャン • Common Vulnerabilities and Exposures(CVE) データベースで公開されているセキュリティ の脆弱性に基づいて、イメージをスキャン • リスクレベルとその詳細を表示 • CVEデータベースへのリンクも確認可能 Oracle Cloud Infrastructure Registry(OCIR)の署名/検証/脆弱性スキャン Copyright © 2021, Oracle and/or its affiliates. 17
- 18. OCIR Roadmap • クロスリージョンレプリケーション機能 • コンテナイメージpush時に各リージョンのレジストリにイメージをコピー Oracle Cloud Infrastructure Registry(OCIR)のロードマップ Copyright © 2021, Oracle and/or its affiliates 18 ・ ・ ・ その他にも様々な機能を追加予定！！
- 19. Oracle Container Engine for Kubernetes(OKE) • クイック作成とカスタム作成の2種類の作成方法 • クイック作成は少しのパラメータを入力するだけ で、関連リソースを自動生成 • カスタム作成は、既存VCNの利用やetcdの暗号化 など、より細やかな設定が可能 • OCI LBとCanalを利用したネットワーク管理 • Serviceを利用したOCI LoadBalancerのプロビジョ ニング(オプションも豊富) • OCI LBで利用できる豊富なオプションIngress Cotrollerによるより高度な管理 • SC/PC/PVCによるOCI FSSとBlock Volumeの利用 • OCI IAMによるアクセス制御とOCIAuditでのログ監査 • OCI Service Brokerによるサービスカタログ管理 • HPA/VPA/Cluster Autoscalingを利用した柔軟なオートス ケール実装 Oracle Cloud Infrastructure Registry(OCIR) • Docker Registry HTTP APIV2準拠によるdockerコ マンドでの操作 • OCIコンソール画面から各種操作も可能 • イメージ保持ポリシーを利用した柔軟なコン テナイメージの管理 OCIコンテナ関連サービスのまとめ Copyright © 2021, Oracle and/or its affiliates 19
- 20. Copyright © 2021, Oracle and/or its affiliates 20 ユースケース例に基づくManifest設定例
- 21. Copyright © 2021, Oracle and/or its affiliates 21 本番環境 Frontend App1 Backend App1(API) Backend App1 (Data Source) Management System Autonomous Database Database System Streaming Object Storage File Storage API GW Functions ユーザ ユーザ Load Balancer Fast Connect お客様 環境 凡例 パブリック通信(REST/HTTP(S)など) プライベート通信(Service GW/ FastConnectなど) ステージング環境 開発環境 Private Node Pool Private Node Pool NamespaceA NamespaceC Load Balancer NamespaceB ingress-nginx nginx- ingress- controller Load Balancer Load Balancer Frontend App2 Backend App2(API) Backend App2 (Data Source) Frontend App3 Backend App3(API) Backend App3 (Data Source) Frontend App4 Backend App4(API) Backend App4 (Data Source) frontend- ingress-B backend- ingress-A backend- ingress-B frontend- ingress-A /frontendapp1 /frontendapp2 /frontendapp3 /frontendapp4 /backendapp1 /backendapp2 /backendapp3 /backendapp4 /okefss1 /okefss2 /okefss3 /okefss4
- 22. Copyright © 2021, Oracle and/or its affiliates 22 2つのノードプールから構成 • 一つは顧客向けシステム、もう一つは管理システム • 今回は顧客向けシステムにフォーカス 顧客向けシステム2つのコンポーネントから成る • 全コンポーネントの共通条件 • OCIRのクレデンシャルはSecretとしてOKEで管理 • 各Namespace毎にユーザの操作スコープを制限 • フロントエンドアプリ • フロントエンドアプリはLoad Balancer経由で外部からGUIアクセス可能 • Load Balancerは1つをプロビジョニングし、Ingress経由で各フロントエンドにルーティング • バックエンドAPI • フロントエンドもしくはAPI Gateway経由でAPIアクセス可能 • API Gateway=>Private Load Balancer=>APIの流れ • Load Balancerは1つをプロビジョニングし、Ingress経由で各バックエンドAPIにルーティング • バックエンドAPIは、それぞれファイルストレージを共有ストレージとして利用 • ログファイルやWebコンテンツを配置 • 各Podから読み書き可能 • 必要に応じてObject Storage(Service GW経由 )やOracle Functionsを利用 • データ管理アプリ • バックエンドAPIからアクセス可能 • ADB/DBCS/Streamingに対してデータの登録や取得を実施 • ADBはWalletをConfigMap、認証情報(ユーザ名、パスワード）をSecretとしてOKEで管理 • StreamingはAPI tokenをSecretとしてOKEで管理 想定ユースケース(全体像)
- 23. Copyright © 2021, Oracle and/or its affiliates 23 運用要件 • ストレージはSC、PVをストレージ管理者が管理し、PVCをアプリケーション開発者が管理。 • Roleはシステム管理者、ストレージ管理者、アプリケーション開発者（顧客システム(システムA))、アプリケーション開発者 （顧客システム(システムB))、アプリケーション開発者（管理システム）を想定。それぞれの権限は以下とする • システム管理者 • 顧客システム、管理システムともに全てのリソースを管理できる権限を付与 • ストレージ管理者 • 顧客システム、管理システムで利用するストレージについて、SCとPVを管理する権限を付与 • アプリケーション開発者が無闇にストレージを作成したり、不適切なストレージにアクセスすることを防ぐ • アプリケーション開発者(顧客システム(システムA)) • 該当するNamespaceにおいて、OKE(Kubernetes)における各リソースを操作できる権限を付与。 具体的に以下のリソースを想定。 • Pod/ReplicaSet/Deployment/Service/Ingress/PVC/ConfigMap/Secret • アプリケーション開発者(顧客システム(システムB)) • 該当するNamespaceにおいて、OKE(Kubernetes)における各リソースを操作できる権限を付与。 具体的に以下のリソースは想定。 • Pod/ReplicaSet/Deployment/Service/Ingress/PVC/ConfigMap/Secret • アプリケーション開発者(管理システム) • 該当するNamespaceにおいて、OKE(Kubernetes)における各リソースを操作できる権限を付与。今回は対象外。 想定ユースケース(概要)
- 24. ここから記載する対象のリソース/Manifest • Namespace • Role • RoleBinding • Secret • Configmap • Storage(StorageClass/PersistentVolume/PersistentVolumeClaim) • Ingress コンテナアプリケーション以外のリソースのManifest記載例 Copyright © 2021, Oracle and/or its affiliates 24 論理的なリソース区画 ユーザのアクセス制御 データソースのクレデンシャルや設定値 永続化領域の設定 L7ロードバランサー/パスルーティング
- 25. Namespace(Kubernetesクラスタでの論理的なリソース区画) Copyright © 2021, Oracle and/or its affiliates 25 作成するNamespace名
- 26. Role(ユーザごとにアクセス/操作可能なリソースを制御) Copyright © 2021, Oracle and/or its affiliates 26 対象のリソース名 対象リソースに対して実行可能な操作 ストレージ管理者の場合
- 27. RoleBinding (ユーザごとにアクセス/操作可能なリソースを制御) Copyright © 2021, Oracle and/or its affiliates 27 OCI IAMのユーザOCID/グループ OCID この例ではユーザOCIDを指定 紐付け対象とするRole ストレージ管理者の場合
- 28. Secret(アプリケーション等が利用する機密情報リソース) Copyright © 2021, Oracle and/or its affiliates 28 Autonomous Databaseのユーザ名/パスワード OCI Streamingのtoken OCIRのユーザ名とパスワード data配下はbase64エンコード済みの 値を指定
- 29. • OCI CLIでのWallet取得(OCIコンソールからのダウンロードでも可) • 取得したWalletを解凍し、kubectlでConfigmapの作成 Configmap (Autonomous DatabaseのWallet) Copyright © 2021, Oracle and/or its affiliates 29 [opc@oke-client ~]$ oci db autonomous-database generate-wallet --autonomous-database-id [ATPのOCID] -- password [Walletのパスワード] --file [Walletファイル名] [opc@oke-client ~]$ unzipWallet_tfOKEATPDB.zip -d Wallet_tfOKEATPDB [opc@oke-client ~]$ kubectl create configmap adb-wallet --from-file=Wallet_tfOKEATPDB
- 30. Configmap (アプリケーション等が利用する設定値) Copyright © 2021, Oracle and/or its affiliates 30 Key-Valueで設定値を記載 ファイル形式で設定値を記載
- 31. Storage (アプリケーション等が利用する永続化領域) – File Storage – Copyright © 2021, Oracle and/or its affiliates 31 FSSのマウントターゲットのOCIDを記 載 StorageClassの作成
- 32. Storage (アプリケーション等が利用する永続化領域) – File Storage – Copyright © 2021, Oracle and/or its affiliates 32 作成したStorageClass名とストレージの capacityを記載 accessModesはFSSの場合、基本的に ReadWriteManyとする FSSのプライベートIPとパスを設定 Persistent Volumeの作成
- 33. Storage (アプリケーション等が利用する永続化領域) – File Storage – Copyright © 2021, Oracle and/or its affiliates 33 PerisitentVolumeと同様の内容を設定 PersistentVolumeで要求したcapacityから実 際に利用したいサイズとPersistentVolume名 を記載。 Persistent Volume Claimの作成
- 34. • IngressControllerのインストールが必要 • kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx- 0.30.0/deploy/static/mandatory.yaml Ingress(L7 Load Balancer) Copyright © 2021, Oracle and/or its affiliates 34 Load Balanecerで利用可 能なオプションを指定 シェイプや証明書なども ここで設定 Load Balancerの 開放ポートを設定 Service(Load Balancer)の作成
- 35. Ingress(L7 Load Balancer) Copyright © 2021, Oracle and/or its affiliates 35 バックエンドのpathと紐づくService リソース名、ポート番号を指定 ※backendについては、バーチャル ホストでも指定可能 Ingressの作成
- 36. ここから記載する対象のリソース/Manifest • Deployment • Service コンテナアプリケーションのリソース Copyright © 2021, Oracle and/or its affiliates 36 アプリケーションの実体とその設定 アプリケーションへのEndpointやルーティング設定
- 37. バックエンドアプリケーション(データソースAPI)のDeployment Copyright © 2021, Oracle and/or its affiliates 37 SecretリソースからAutonomous Databaseのユーザ名とパスワード、OCI Streamingのトークンを変数として取得 Autonomous DatabaseのWalletファイルを Volumeとしてマウント(参照先はConfigmap) OCIRのクレデンシャルをSecretとして指定 データソースAPI(namespaceA) の場合
- 38. バックエンドアプリケーション(データソースAPI)のService Copyright © 2021, Oracle and/or its affiliates 38 Deploymentで設定したcontainerPortを targetPortに設定し、Service(Ingress)として 公開するポート番号を定義 Deploymentで設定したラベルをselectorとし て設定 データソースAPI(namespaceA)の場合
- 39. バックエンドアプリケーション(バックエンドAPI)のDeployment Copyright © 2021, Oracle and/or its affiliates 39 volumesにFSSに紐づけたPVCを設定し、コ ンテナ上でFSSのマウントを設定 バックエンドAPI(namespaceA) の場合
- 40. フロントエンドアプリケーション Copyright © 2021, Oracle and/or its affiliates 40 Ingressで設定するポート番号を定義 フロントエンド(namespaceA)の場合
- 41. Copyright © 2021, Oracle and/or its affiliates 41 OKE/コンテナアプリケーションの監視
- 42. OCI上の様々なリソースのメトリックを監視、ダッシュボードで閲覧、および通知 ■ ユースケース OCI上のサービスやリソースの状態監視、アプリ ケーションの性能監視、リアルタイムでの異常検出 ■ 特徴 • OCI上の各サービスやリソースのメトリックを自 動的に取得 • 事前定義済のビジュアライゼーション・ダッ シュボードの提供 • あらかじめ指定した条件にメトリックが合致し た場合にアラームを発火することも可能(カスタ ム・メトリックの定義も可能) Monitoring (モニタリング) 42 Oracle Cloud Infrastructure METRICS ALARMS Notifications CPU: 80 CPU: 90 CPU: 40 CPU: 50 Customer Applications, Services, Resources Oracle Cloud Infrastructure Console Customer Monitoring Tool Monitoring Monitoring ■ 関連するOracle Cloud Service • Notifications(通知)、コンピュート、ネットワーク ストレージ、その他OCIサービス全般 Copyright © 2021, Oracle and/or its affiliates
- 43. 利用可能なメトリクス • API Serverに対するリクエスト回数 • 原則としてユーザが操作をして いなくても一定回数のカウント はある • API Serverのレスポンス • 2XX/4XX/5XX • スケジュールできないPod数 Master Nodeのメトリクス監視(OCI Console/OCI Monitoring)(1) Copyright © 2021, Oracle and/or its affiliates 43
- 44. 利用可能なメトリクス(Worker Nodeの ステータス) • Nodeのステータス • 1:Active • 0:Non-Avtive • Node条件(kubectl get nodeの結果) • 1:Ready • 0:Not Ready Worker Nodeのメトリクス監視(OCI Console/OCI Monitoring)(2) Copyright © 2021, Oracle and/or its affiliates 44
- 45. Worker Nodeのメトリクス監視(OCI Console/OCI Monitoring)(3) Copyright © 2021, Oracle and/or its affiliates 45 利用可能なメトリクス(Computeのス テータス) • CPU使用率 • メモリ使用率 • ディスクI/O(Read) • ディスクI/O(Write) • ディスクスループット(Read) • ディスクスループット(Write) • ネットワークスループット(receive) • ネットワークスループット(send) • ロードアベレージ • メモリのストール回数
- 46. ログを一元的に収集するスケーラブルで完全マネージド型なロギング・サービス ログの種類 • 監査ログ • Oracle Cloud Infrastructureの監査ログがデフォルトで収集 • サービス・ログ • Oracle Cloud Infrastructureのネイティブなサービスから生 成されるログ • APIゲートウェイ、イベント、ファンクション、ロードバラン サー、オブジェクト・ストレージ、VCN Flow Logsなど • 各リソースに対して有効化、無効化を設定 • カスタム・ログ • カスタムのアプリケーションや他のクラウド、オンプレ ミス環境などから生成されるログ • APIを通じて発行、または、監視エージェントを構成する ことでログを収集 OCI Logginig Copyright © 2021, Oracle and/or its affiliates 46 Logging ロギング 監査 VCN Flow Logs アプリケーション ロード バランサー Object Storage OCIネイティブサービス
- 47. Master Node API ServerのAudit Log Copyright © 2021, Oracle and/or its affiliates 47 クラスタが実行したAudit API Serverが実行した操作
- 48. OCI Logging(※1)からOCIの各サービス(※2)へ連携するためのハブ • ログをOCI LoggingAnalyticsに転送し、高機能の分析GUIを使用することが可能 Service Connector Hub(サービス・コネクタ・ハブ） Copyright © 2021, Oracle and/or its affiliates 48 OCI Logging Object Storage 収集 連携 監査ログ サービス ログ カスタム ログ OCI LoggingAnalytics (※1)：2021/4現在、Service Connector Hubのソースとなるサービス。 今後他サービスも追加予定。 (※2)： 2021/4現在、Service Connector Hubのターゲットとなるサービスは以下。今後も追加予定。 Object Storage/OCI Streaming/Oracle Functions/OCI Monitoring/ OCI LoggingAnalytics/Notification Service Connector Hub Service Connector Hub
- 49. ロギング • 現時点ではWorker Node(ホストOS)の/var/log/containers配下に出力されるコンテナのログを収集し、 OCI Loggingでログ検索 • https://www.ateam-oracle.com/observabitiliy-on-oracle-oci-using-custom-logs-in-oci-logging-to-monitor- and-analyze-cloud-native-applications • ホストOSに依存するので、PodがスケジューリングされているホストOSが変更になった場合はコ ンテナログの出力先も変更される • Service Connector Hub(サービス・コネクタ・ハブ)による各サービスへの連携も可能 ロギングの可視化 • LoggingAnalyticsによる可視化 • 円グラフ/縦棒グラフ/横棒グラフ/線グラフ/ワードクラウド….. • ダッシュボードの作成も可能 • https://docs.oracle.com/en-us/iaas/logging-analytics/index.html OCI Loggingを利用したコンテナアプリケーションのロギング Copyright © 2021, Oracle and/or its affiliates 49
- 50. 死活監視 リソース(CPU/メモリ) ロギング Worker Node (Compute) OCI Monitoring OCI Monitoring - (原則として不要) Pod Prometheus + Grafana(※1) Prometheus + Grafana(※1) OCI Logging + OCI Logging Analytics(※2) OCI/3rd Partyを利用したコンテナアプリケーションの監視まとめ Copyright © 2021, Oracle and/or its affiliates 50 (※1)：今後OCI MonitoringにてPodレベルの死活/リソース監視が実施可能になる予定。 (※2)：現時点では、制約事項あり。(p.49参照) 今後、OCI LoggingでPodレベルのロギングが利用可能になる予定。
- 51. Thank you Copyright © 2020, Oracle and/or its affiliates. 51
Editor's Notes
- #43: ※ 注意 メトリックの取込み：Monitoringに送信されたカスタム・メトリックのデータ・ポイントに応じてお支払いただきます。Oracle Cloud Infrastructureサービスが提供するメトリックは、取り込まれたメトリックにカウントされません。 分析メトリック：Monitoringからの取得時に分析されたデータ・ポイントに応じてお支払いただきます。 分析メトリックとは https://cloud.oracle.com/ja_JP/monitoring/metrics/faq