PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築

Jan 19, 2021Download as PPTX, PDF0 likes3,037 views

Kosuke Shinoda

python PyTorchLightning Hydrea MLFlow Optuna MLOps

PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築

IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men

畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida

2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 https://stair.connpass.com/event/126556/

研究効率化Tips Ver.2cvpaper. challenge

cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料はViEW2021チュートリアルセッション「最新研究の始め方」のプレゼン素材です。また、xpaper.challengeの2020年末ワークショップとしてプレゼンした「研究効率化Tips」の拡張版です。本資料では3社12研究室300ページにわたるノウハウの詰め合わせです。 VIEW2021のチュートリアルセッションでは時間の制限があるため、こちらの資料から一部抜粋して発表を行うことになりますが、VIEW2021チュートリアルセッションの方にも足を運んでいただければ幸いです。 VIEW2021チュートリアルセッション：http://view.tc-iaip.org/view/2021/speaker/ts1 ViEW2021参加登録：http://view.tc-iaip.org/view/2021/registration

【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge

backbone としての timm 入門Takuji Tahara

[DL輪読会]SlowFast Networks for Video RecognitionDeep Learning JP

モデル高速化百選Yusuke Uchida

画像センシングシンポジウム (SSII 2019) の企画セッション「深層学習の高速化〜高速チップ、分散学習、軽量モデル〜」の講演資料です。深層学習モデルを高速化する下記6種類の手法の解説です。 - 畳み込みの分解 (Factorization) - 枝刈り (Pruning) - アーキテクチャ探索 (Neural Architecture Search; NAS) - 早期終了、動的計算グラフ (Early Termination, Dynamic Computation Graph) - 蒸留 (Distillation) - 量子化 (Quantization)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)RyuichiKanoh

Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法 6月10日 (木) 11:00 - 12:30 メイン会場（vimeo + sli.do）登壇者：松井孝太氏（名古屋大学）概要：転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタスクからの知識（データ、特徴、モデルなど）を利用するための方法を与える機械学習のフレームワークです。深層モデルの学習方法として広く普及している事前学習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメイン適応、メタ学習について解説します。

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP

強化学習アルゴリズムPPOの解説と実験克海納谷

Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Preferred Networks

最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi

cvpaper.challenge 研究効率化 Tipscvpaper. challenge

三次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba

Active Learning 入門Shuyo Nakatani

SSII2022 [SS1] ニューラル3D表現の最新動向〜ニューラルネットでなんでも表せる？？〜SSII

6/9 (木) 14:15～14:45 メイン会場講師：加藤大晴氏（株式会社Preferred Networks）概要：点群/メッシュ/ボクセルなどの従来的な3D表現に代わってニューラルネットによる陰関数で三次元データを表してしまう手法が近年登場し、様々なタスクで目覚ましい成果を挙げ大きな注目を集めている。この表現は、計算コストが高い代わりに柔軟性が高くさまざまなものをシンプルかつコンパクトに表現できることが知られている。本講演では、その基礎、応用、最先端の状況について、代表的な研究を広く紹介する。

POMDP下での強化学習の基礎と応用Yasunori Ozaki

This document provides an overview of POMDP (Partially Observable Markov Decision Process) and its applications. It first defines the key concepts of POMDP such as states, actions, observations, and belief states. It then uses the classic Tiger problem as an example to illustrate these concepts. The document discusses different approaches to solve POMDP problems, including model-based methods that learn the environment model from data and model-free reinforcement learning methods. Finally, it provides examples of applying POMDP to games like ViZDoom and robot navigation problems.

自己教師学習（Self-Supervised Learning）cvpaper. challenge

cvpaper.challenge のメタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/

「世界モデル」と関連研究についてMasahiro Suzuki

【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCHDeep Learning JP

最適輸送の解き方joisino

最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-nojie-kifang

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

GAN（と強化学習との関係）Masahiro Suzuki

This document discusses generative adversarial networks (GANs) and their relationship to reinforcement learning. It begins with an introduction to GANs, explaining how they can generate images without explicitly defining a probability distribution by using an adversarial training process. The second half discusses how GANs are related to actor-critic models and inverse reinforcement learning in reinforcement learning. It explains how GANs can be viewed as training a generator to fool a discriminator, similar to how policies are trained in reinforcement learning.

Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida

最新リリース：Optuna V3の全て - 2022/12/10 Optuna Meetup #2Preferred Networks

[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...Deep Learning JP

[DL輪読会]Dense Captioning分野のまとめDeep Learning JP

エゴセントリックネットワークを用いた同義語・類義語の判別の検討Kosuke Shinoda

人狼知能セミナー資料案20170624Kosuke Shinoda

More Related Content

What's hot (20)

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP

強化学習アルゴリズムPPOの解説と実験克海納谷

Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Preferred Networks

最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi

cvpaper.challenge 研究効率化 Tipscvpaper. challenge

三次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba

Active Learning 入門Shuyo Nakatani

SSII2022 [SS1] ニューラル3D表現の最新動向〜ニューラルネットでなんでも表せる？？〜SSII

POMDP下での強化学習の基礎と応用Yasunori Ozaki

自己教師学習（Self-Supervised Learning）cvpaper. challenge

「世界モデル」と関連研究についてMasahiro Suzuki

【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCHDeep Learning JP

最適輸送の解き方joisino

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

GAN（と強化学習との関係）Masahiro Suzuki

Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida

最新リリース：Optuna V3の全て - 2022/12/10 Optuna Meetup #2Preferred Networks

[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...Deep Learning JP

[DL輪読会]Dense Captioning分野のまとめDeep Learning JP

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP

強化学習アルゴリズムPPOの解説と実験克海納谷

Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Preferred Networks

最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi

cvpaper.challenge 研究効率化 Tipscvpaper. challenge

三次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba

Active Learning 入門Shuyo Nakatani

SSII2022 [SS1] ニューラル3D表現の最新動向〜ニューラルネットでなんでも表せる？？〜SSII

POMDP下での強化学習の基礎と応用Yasunori Ozaki

自己教師学習（Self-Supervised Learning）cvpaper. challenge

「世界モデル」と関連研究についてMasahiro Suzuki

【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCHDeep Learning JP

最適輸送の解き方joisino

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

GAN（と強化学習との関係）Masahiro Suzuki

Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida

最新リリース：Optuna V3の全て - 2022/12/10 Optuna Meetup #2Preferred Networks

[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...Deep Learning JP

[DL輪読会]Dense Captioning分野のまとめDeep Learning JP

More from Kosuke Shinoda (6)

エゴセントリックネットワークを用いた同義語・類義語の判別の検討Kosuke Shinoda

人狼知能セミナー資料案20170624Kosuke Shinoda

社会と人工知能特集「仮想化する社会」Kosuke Shinoda

「人狼知能」没原稿社会的知能を目指してKosuke Shinoda

森北出版から販売されている人狼知能の没原稿です．人工知能が今後社会にかかわっていくうえで，社会的な知能を獲得していくのは必然なことで，人狼知能もそこを目指すためのテストベットとなりうるということを説明することを目指して書いたのですが，読者にわかりやすいように書くことが難しかったため没にしました．同じ森北出版から，「心を交わす人工知能」で比較的書きたかった内容が書かれているので，参考にしていただければと思います

大規模ネットワーク分析篠田Kosuke Shinoda

人狼知能プログラミング演習資料2015Kosuke Shinoda

エゴセントリックネットワークを用いた同義語・類義語の判別の検討Kosuke Shinoda

人狼知能セミナー資料案20170624Kosuke Shinoda

社会と人工知能特集「仮想化する社会」Kosuke Shinoda

「人狼知能」没原稿社会的知能を目指してKosuke Shinoda

大規模ネットワーク分析篠田Kosuke Shinoda

人狼知能プログラミング演習資料2015Kosuke Shinoda

PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築

Recommended

More Related Content

What's hot (20)

More from Kosuke Shinoda (6)