SlideShare a Scribd company logo
2018/07/19
NTT ソフトウェアイノベーションセンタ
大嶋悠司
KubeFlow
Machine Learning on k8s
自己紹介
大嶋 悠司 @overs_5121
NTT ソフトウェアイノベーションセンタ
OSS活動が主な業務
• GoBGP(ソフトウェアBGPルータ)
• Docker
• Docker/Infrakit (メンテナ)
• KubeFlow/Katib (オーナー)
2018 07-19dist
What is KubeFlow?
Kubernetes上で機械学習タスクを管理するOSSプロジェクト
• KubeCon2017NAにてGoogleが発表
• 6月末にv0.2がリリース
• Kubecon2018NA(12/16)にv1.0リリース予定
• 参加企業(一部)
• Google
• Intel
• Cisco
• Alibaba
• PFN
• NTT などなど..
コミュニティでの注目度
@KubeCon2018EU
https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf
コミュニティでの注目度
@KubeCon2018EU
https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf
何故,KubeFlow?
個々を解決するツールは存在するが,それらだけで解決する問題でない
自分ですべてをカバーするシステムを設計・メンテするのは容易ではない
SageMaker? CloudML? Machine Learning Studio?
SageMaker? CloudML? Machine Learning Studio?
いいや,僕らにはKubernetesがある!
MLをCloud Nativeに!
Composability
Portability
Scalability
Concept of KubeFlow
Composability
Roll-out Serving Monitering Logging
Data
Ingestion
Data
Analysis
Data
Transform
-ation
Data
Validation
Data
Splitting
Trainer
Building
a
Model
Model
Validation
Training
At Scale
ML Platform
Composability
Roll-out Serving Monitering Logging
Data
Ingestion
Data
Analysis
Data
Transform
-ation
Data
Validation
Data
Splitting
Trainer
Building
a
Model
Model
Validation
Training
At Scale
ML Platform
TF/Pytorch/Chainer Operator
Katib
Portability
各コンポーネントはk8s前提,k8sにのみ依存
k8sさえあればどこにでもデプロイ可能
Google
GKE
AKS
on-premise
Scalability
• TensorFlow
• Pytorch
• ChainerMN
多くのフレームワークで分散学習がサポートされるが使い勝手はそれ
ぞれ
CRDを用いたオペレータで隠蔽,自然に分散学習を利用可能に
今後の期待
分析基盤系ツールは乱立状態
KubeFlowがMLプラットフォームのデファクトを作り
各ツールの位置,連携の整理を期待
参考:CAの青山さんが素敵な発表をされてます
https://speakerdeck.com/masayaaoyama/introduction-to-kubeflow-0-dot-1-and-future-at-cloud-native-meetup-tokyo-number-2

More Related Content

PDF
Katib
Yuji Oshima
 
PDF
MLCT#12 使われる機能目指して 測ったり試したり
Yuji Oshima
 
PDF
KubeFlowでどこまでいける?
Yuji Oshima
 
PDF
2018 07-23
Yuji Oshima
 
PPTX
コンテナ運用基盤 with OpenShift
Y K
 
PDF
知って欲しいPaaSの話
Kazuto Kusama
 
PDF
KustomizeとGitHub Actionsを利用したUbieのデプロイの仕組み
Daisuke Taniwaki
 
PDF
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
Preferred Networks
 
MLCT#12 使われる機能目指して 測ったり試したり
Yuji Oshima
 
KubeFlowでどこまでいける?
Yuji Oshima
 
2018 07-23
Yuji Oshima
 
コンテナ運用基盤 with OpenShift
Y K
 
知って欲しいPaaSの話
Kazuto Kusama
 
KustomizeとGitHub Actionsを利用したUbieのデプロイの仕組み
Daisuke Taniwaki
 
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
Preferred Networks
 

What's hot (20)

PDF
Kubernetes & Google Container Engine; DockerコンテナをGKEでクラスタリングしてみた
祐磨 堀
 
PPTX
DockerCon '17 Feedback at PaaS JP
Go Chiba
 
PDF
virtual-kubeletってなんだ?Alibaba Cloudで動かしてみよう
Shinya Mori (@mosuke5)
 
PDF
新しいOpenShiftのしくみを調べてみた
Kazuto Kusama
 
PPTX
DockerCon '17 Feedback and Introduction of Longhorn at Rancher JP
Go Chiba
 
PDF
Githubを使って簡単に helm repoを公開してみよう
Shingo Omura
 
PDF
Cloud Foundry Container-to-Container Networking
Kazuto Kusama
 
PDF
Recap: [Code fresh] Deploying to kubernetes thousands of times per day @kuber...
Masaya Aoyama
 
PPTX
Infrakitの話とk8s+GPUの話
Yuji Oshima
 
PPTX
Introduction of skippbox
Go Chiba
 
PPTX
DockerCon '17 Feedback -User Stories- at Docker Meetup Tokyo
Go Chiba
 
PDF
KubeFlow MeetUp #1 Katibよもやま話
Yuji Oshima
 
PDF
ChainerMNをDocker containerで動かす
Daisuke Taniwaki
 
PDF
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Preferred Networks
 
PDF
Kube con + cloudnativecon 2017 社内報告会(外部公開用)
Masaya Aoyama
 
PDF
対話AI on Kubernetes
Kazuki Morozumi
 
PPTX
KubernetesでGPUクラスタを管理したい
Yuji Oshima
 
PDF
GCP でも Serverless!!
Igarashi Toru
 
PDF
Japan Container Days: 「今こそKubernetes。最高の仕事道具で使いこなそう」by capsmalt
capsmalt
 
PDF
Kubeflowで何ができて何ができないのか #DEvFest18
Shunya Ueta
 
Kubernetes & Google Container Engine; DockerコンテナをGKEでクラスタリングしてみた
祐磨 堀
 
DockerCon '17 Feedback at PaaS JP
Go Chiba
 
virtual-kubeletってなんだ?Alibaba Cloudで動かしてみよう
Shinya Mori (@mosuke5)
 
新しいOpenShiftのしくみを調べてみた
Kazuto Kusama
 
DockerCon '17 Feedback and Introduction of Longhorn at Rancher JP
Go Chiba
 
Githubを使って簡単に helm repoを公開してみよう
Shingo Omura
 
Cloud Foundry Container-to-Container Networking
Kazuto Kusama
 
Recap: [Code fresh] Deploying to kubernetes thousands of times per day @kuber...
Masaya Aoyama
 
Infrakitの話とk8s+GPUの話
Yuji Oshima
 
Introduction of skippbox
Go Chiba
 
DockerCon '17 Feedback -User Stories- at Docker Meetup Tokyo
Go Chiba
 
KubeFlow MeetUp #1 Katibよもやま話
Yuji Oshima
 
ChainerMNをDocker containerで動かす
Daisuke Taniwaki
 
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Preferred Networks
 
Kube con + cloudnativecon 2017 社内報告会(外部公開用)
Masaya Aoyama
 
対話AI on Kubernetes
Kazuki Morozumi
 
KubernetesでGPUクラスタを管理したい
Yuji Oshima
 
GCP でも Serverless!!
Igarashi Toru
 
Japan Container Days: 「今こそKubernetes。最高の仕事道具で使いこなそう」by capsmalt
capsmalt
 
Kubeflowで何ができて何ができないのか #DEvFest18
Shunya Ueta
 
Ad

Similar to 2018 07-19dist (20)

PDF
[OracleCodeTokyo2019] Kubernetesで実現する運用自動化の新しいアプローチとは
Koto Shigeru
 
PPTX
SpringOne Platform Replay -Pivotal Cloud Foundry-
CASAREAL, Inc.
 
PPTX
Edge Computing と k8s でなんか話すよ
VirtualTech Japan Inc.
 
PDF
【初心者向け】API を使ってクラウドの管理を自動化しよう
富士通クラウドテクノロジーズ株式会社
 
PDF
20170417_Netadashi_KubeCon
Makoto Mori
 
PDF
今後のContainerの行く末の感じたこと、思ったこと 〜JKD参加報告〜
Tsukasa Kato
 
PDF
PTLのお仕事とリリースパイプラインの裏側
masahito12
 
PDF
CI/CD Pipeline を考える 〜KubeCon 2017 + CyberAgent の最大公倍数〜
Masaya Aoyama
 
PDF
serverless openstack 101
Naoto Gohko
 
PDF
KubeCon + CloudNativeCon Europe 2019 参加報告
Takashi Natsume
 
PDF
Kubernetesの良さを活かして開発・運用!Cloud Native入門 / An introductory Cloud Native #osc19tk
whywaita
 
PDF
OpenStack Vancouver Summit Report presented at nttgroup meeting in Japanese
Toshikazu Ichikawa
 
PDF
ざっくり始めるCloud Native開発
YASUKAZU NAGATOMI
 
PDF
CyberAgentのインフラについて メディア事業編 #catechchallenge
whywaita
 
PPT
Yahoo!Japan北米DCでOCPのツボをみせてもらってきました - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
 
PDF
今話題のいろいろなコンテナランタイムを比較してみた
Kohei Tokunaga
 
PPTX
Docker Meetup tpkyo #30 kubecon recap
Yutaro Wada
 
PDF
Visual Studio 2019 GA ! ~ 最新情報 & これからの開発スタイル
Akira Inoue
 
PDF
BuildKitの概要と最近の機能
Kohei Tokunaga
 
[OracleCodeTokyo2019] Kubernetesで実現する運用自動化の新しいアプローチとは
Koto Shigeru
 
SpringOne Platform Replay -Pivotal Cloud Foundry-
CASAREAL, Inc.
 
Edge Computing と k8s でなんか話すよ
VirtualTech Japan Inc.
 
【初心者向け】API を使ってクラウドの管理を自動化しよう
富士通クラウドテクノロジーズ株式会社
 
20170417_Netadashi_KubeCon
Makoto Mori
 
今後のContainerの行く末の感じたこと、思ったこと 〜JKD参加報告〜
Tsukasa Kato
 
PTLのお仕事とリリースパイプラインの裏側
masahito12
 
CI/CD Pipeline を考える 〜KubeCon 2017 + CyberAgent の最大公倍数〜
Masaya Aoyama
 
serverless openstack 101
Naoto Gohko
 
KubeCon + CloudNativeCon Europe 2019 参加報告
Takashi Natsume
 
Kubernetesの良さを活かして開発・運用!Cloud Native入門 / An introductory Cloud Native #osc19tk
whywaita
 
OpenStack Vancouver Summit Report presented at nttgroup meeting in Japanese
Toshikazu Ichikawa
 
ざっくり始めるCloud Native開発
YASUKAZU NAGATOMI
 
CyberAgentのインフラについて メディア事業編 #catechchallenge
whywaita
 
Yahoo!Japan北米DCでOCPのツボをみせてもらってきました - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
 
今話題のいろいろなコンテナランタイムを比較してみた
Kohei Tokunaga
 
Docker Meetup tpkyo #30 kubecon recap
Yutaro Wada
 
Visual Studio 2019 GA ! ~ 最新情報 & これからの開発スタイル
Akira Inoue
 
BuildKitの概要と最近の機能
Kohei Tokunaga
 
Ad

2018 07-19dist