Development and Experiment of Deep Learning with Caffe and maf
93 likes71,031 views
2014/10/30 PyData Tokyo Meetup #1
Ad
More Related Content
What's hot (20)
Similar to Development and Experiment of Deep Learning with Caffe and maf (20)
![[DLHacks]Comet ML -機械学習のためのGitHub-](https://cdn.slidesharecdn.com/ss_thumbnails/180625dlhacksltcometml-180629052128-thumbnail.jpg?width=560&fit=bounds)
![[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する](https://cdn.slidesharecdn.com/ss_thumbnails/31ddbjingohta-150626022623-lva1-app6892-thumbnail.jpg?width=560&fit=bounds)
![[DL Hacks]Visdomを使ったデータ可視化](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks20181115-181116004623-thumbnail.jpg?width=560&fit=bounds)
Ad
More from Kenta Oono (20)
Ad
Development and Experiment of Deep Learning with Caffe and maf
- 1. 2014/10/30 PyData Tokyo MeetUp #1 @デンソーアイティーラボラトリ Caffeとmafを⽤用いた ディープラーニング 開発・実験⽅方法 株式会社 Preferred Networks ⼤大野 健太 [email protected]
- 2. ⾃自⼰己紹介 • ⼤大野健太(@delta2323_) • 経歴：数理理科学研究科（共形幾何）→2012.3 PFI→2014.10 PFN • 所属：研究班（担当領領域：理理論論解析・ライフサイエンス） • ブログ：http://delta2323.github.io • 謝辞 • mafは得居誠也さん(PFN・@beam2d)・能地宏さん(総研⼤大/NII・ @nozyh)が中⼼心となり開発されています • Caffe・mafデモは得居さんの助⾔言を元に作成しています 2
- 3. 株式会社Preferred Networks Preferred Infrastructure（PFI、2006年年創業） l 検索索・機械学習のソフトウェア研究開発 Preferred Networks（PFN、2014年年設⽴立立） l IoTにフォーカスするためスピンオフ l ディープラーニング等最新技術を開発 l 様々な業界向けソリューションを加速 l 製造業、交通、セキュリティ、⼩小売… 代表取締役 ⻄西川徹 取締役副社⻑⾧長 岡野原⼤大輔 ディープラーニング 機械学習 （深層学習） 検索索エンジン ／ 分析ソフト 3
- 4. アジェンダ • Caffeの紹介 • ディープラーニング関連⽤用語について • ディープラーニング実験の困難さ • mafの紹介 • デモ：Caffeとmafを⽤用いた実験 注意 • Caffeは現在進⾏行行形で開発が進んでいます、本資料料は資料料作成時の masterブランチ（c18d22e）またはdevブランチ（30651a2）を参考 に作成しています 4
- 5. Caffe
- 6. Caffe概要 git clone [email protected]:BVLC/caffe.git • 開発者：Berkeley⼤大学 Yangqing Jia(現Google) • メンテナンス：Berkeley Vision and Learning Center (BVLC) • ライセンス：BSD 2 clause • バージョン：厳格にはつけられていない？ • 動作確認済OS：Ubuntu 14.04, 12.04, Mac OS X 10.9, 10.8 • Mac OS 10.9へのインストールは⼿手間がかかる（libc++関連） • Windowsも対応版がある（⾮非公式*） • ⾔言語：C++, CUDA、バインディング：Python, Matlab • 前バージョンのDecafはPython、⾼高速化の為C++, CUDAで再実装 6 * fork レポジトリ：https://github.com/niuzhiheng/caffe
- 8. 特徴：OSS活動が最も活発なディープラーニングラ イブラリの⼀一つ • 開発速度度 • 最新の技術・アルゴリズムが多く実装されている • （API・設定ファイル記述⽅方法は結構頻繁に変わる） • コミュニティーの活動 • issue/Pull Requestベースの開発 • チュートリアル・実例例・開発者⽤用ドキュメントが整備済 • CUDA対応 • CPU, GPUのシームレスな切切り替え可能 • CuDNN対応済（NVIDIA製GPU対応DNNライブラリ） 開発チームが考えるCaffeの売り： https://docs.google.com/presentation/d/ 1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/ edit#slide=id.g39888e8c1_0398
- 9. Caffeで実現された技術例例(1) Deep Q Network*（深層学習で強化学習） PongSpace Invader 藤⽥田康博さん 「CaffeでDeep Q-Networkを実装して深 層強化学習してみた」** 松元叡⼀一さん PFIインターン2014 最終発表*** * Playing Atari with Deep Reinforcement Learning, Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller NIPS Deep Learning Workshop, 2013 ** http://d.hatena.ne.jp/muupan/20141021/1413850461 9 *** http://www.ustream.tv/recorded/53153399
- 10. Caffeで実現された技術例例(2)：GoogLeNet, VGG • ILSVRC2014(画像認識識コンテスト) の上位陣 • 200種類のカテゴリ分類で候補を5個提⽰示するタスクで、エラー率率率 6.6%(GoogLeNet)、7.3%(VGG) 10
- 11. ⽤用語：アーキテクチャ関連 • Net：Neural Net(NN)のアーキテクチャ全体 • Blob：Node、Neuron、（ややこしいが）○○層とも • Layer：異異なる階層のBlobをつなぐモジュール NetBlobLayer x 1 x N h 1 h H k 1 k M y 1 y M t 1 t M Forward Backward 11
- 12. Layerに関する注意 • 論論⽂文ではNodeの中で活性化関数を含む事が多いが、実装では活性化関 数をLayerで実現することが多い X W Y=σ(WX) X W WX σ Y 12
- 13. minibatch j ⽤用語：訓練関連 Epoch 1 Epoch 2 Epoch i Epoch N Epoch i 全訓練データを シャッフル minibatch 1 訓練データ 2 minibatch 2 minibatch j minibatch M 訓練データ 1 訓練データ B パラメータ更更新 時刻 • Epoch (Iteration)：全訓練データを1巡する事 → 各訓練データはNetにN回与える • Solver：Netを訓練するモジュール • minibatch：少数の訓練データをまとめてNNに 与えた後にパラメータ更更新 13
- 14. Caffeの使⽤用⽅方法：⼤大きく分けて3通り • コマンドラインツール（ディレクトリ：build/tools/） • prototxt（後述）の記述のみ、“プログラム”の必要なし • 既存モジュールを使⽤用するだけなら⼀一番簡単 • C++ライブラリを利利⽤用（ディレクトリ：build/include, build/lib） • ⾃自由度度の⾼高い設計が可能 • オリジナルのLayerを実装可能 • Python / Matlabのバインディングを利利⽤用（ディレクトリ：python/） • タスク特化のクラスが実装済(Classifier/Detector) • インタープリタ上での試⾏行行錯誤が可能 14
- 15. prototxt：いわゆる設定ファイル • ⽬目的に応じて複数⽤用意 • Train/Test⽤用：Netの構成・Data Layerの設定・Solverの設定 • Deploy⽤用：Netの構成・Input Blobの設定 • 利利⽤用可能なパラメータをProtocol Buffersを⽤用いて実現 * GoogLeNetのprototxt 2000⾏行行以上ある→ https://github.com/BVLC/caffe/pull/1367/files * src/caffe/proto/caffe.proto 15
- 16. prototxtの記述(1)：Train/Test⽤用のNet Train/Test mnist ip loss label Net LayerでTop Blob とBottom Blobを指定 Blob Layer data ip データはData Layer として抽象化 損失関数はLoss Layer として抽象化 16
- 17. prototxtの記述(2)：Deploy⽤用Net Net ip Deploy prob data ip Layerに挟まれないBlobは 4次元テンソルで指定 Blob probLayer 17
- 19. Python Bindingの特徴* • ⽐比較的薄いラッパーでC++/Cudaを隠蔽 • Boost.Pythonを利利⽤用 • Pythonだけでも実験を⾏行行える設計 • Numpy/Scipy/matpotlibとの親和性は⾼高い • 多次元配列列操作にはNumpy.ndarrayを利利⽤用 • ipython Notebookでの実例例が充実** • Python Bindingを利利⽤用した試⾏行行錯誤の⽅方法論論が学べる * レポジトリ：python/ ** レポジトリ：examples/*.ipynb チュートリアル：http://caffe.berkeleyvision.org/tuto1r9ial/interfaces.html
- 20. Python Bindingクラス関係図 caffe::Net (C++) NetLayerBlob caffe::Pynet (C++) caffe.Net (Python) Utility関数群 (C++) DerivesDerives caffe::Classifier (Python) has Boost.Python caffe::Detector (Python) has caffe::Layer (C++) caffe::PyLayer (C++) caffe.Layer (Python) caffe::Blob (C++) caffe::PyBlob (C++) caffe.Blob (Python) タスク特化型 クラス 20
- 22. ディープラーニングの特徴： 設計の⾃自由度度が⾼高い = チューニングが難しい • 設計時の選択肢：NNの設計は回路路設計に近い • ネットワーク（トポロジー/Layer数/Node数/活性化関数/損失関数） • 学習⽅方法（学習アルゴリズム/Iteration数/学習率率率関連） • チューニングパラメータが精度度に⼤大きく影響を与える • ReLUで少し学習率率率を変えただけで損失がInfになる • アルゴリズムの改善よりもパラメータ探索索が重要になることも → 効率率率的なトライアル エラーがディープラーニングでの開発・実験の鍵 （様々なチューニングノウハウが知られている * ** ***） * A Practical Guide to Training Restricted Boltzmann Machines, Geoffrey Hinton, https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf ** Practical Recommendations for Gradient-Based Training 22 of Deep Architectures, Yoshua Bengio, arXiv:1206.5533v2 *** Random Search for Hyper-Parameter Optimization, James Bergstra and Yoshua Bengio, JMLR 13 (2012) 281-305
- 23. 効率率率的な試⾏行行錯誤は難しい • 様々なパラメータを試す時間がない • 前処理理／後処理理は実験プログラム実装と同等以上に⼿手間がかかる • 様々な実験設定での⼊入出⼒力力の管理理が煩雑 • 実験ごとに微妙に異異なるデータセット・設定ファイル • 実験ごとに得られる実験結果・ログ • 結果の再現性を担保できていない • 「この時の実験ログの実験を再現したいのだけれど、設定ファイル どれだろう？」 • 設定ファイルはあるけれど、書かれているディレクトリにデータが ない・データの形式が違いプログラムが動かない 23
- 24. 実験プログラムだけでなく実験環境の管理理が必要 サーバー ライブラリ 実験⼿手順 実験結果・ログ プログラム 実験プログラム データセット 設定 ファイル 出⼒力力 本体 ⼊入⼒力力 環境 24
- 25. maf概要：実験ビルドツール git clone [email protected]:pfi/maf.git • 開発者：Preferred Infrastructure / Preferred Networks • バージョン：2013年年12⽉月公開、現在 ver. 0.2 • ⾔言語：Python • waf (Pythonベースのビルドツール) のラッパーとして実現 • ⽬目的：機械学習の典型的（だが煩雑）な操作の簡易易化 • 前処理理/データセットの分割/クロスバリデーション • 複数の(ハイパー)パラメータセットの⼀一括実⾏行行/中間⽣生成物の管理理 25
- 26. mafを⽤用いた実験例例：liblinear 交差検定⽤用に データ分割 訓練 テスト 集計 プロット パラメータの作成 パラメータの作成 パラメータの集約 パラメータの集約 26
- 28. デモ：mafを⽤用いた ディープラーニングのパラメータチューニング • タスク • Cifar10データを様々なパラメータを持つNetで分類し結果を可視化 • ポイント • mafで様々な学習パラメータのprototxtを⾃自動⽣生成 • イテレーション事のエラー推移をプロット • モデル・結果・ログをmafで管理理 • フィルター可視化にCaffeのClassifierモジュールを利利⽤用 28
- 29. まとめ • Caffeは2014年年10⽉月現在最も活発に開発されているディープラーニングラ イブラリの⼀一つです • Caffeには最近のディープラーニング研究の成果が多数実装されています • ディープラーニングを含む機械学習の効果的な開発・実験には様々な実験 設定での⼊入出⼒力力データの管理理が課題となります • mafは機械学習・データ解析で現れる典型タスクを簡略略化する為の実験ビ ルドツールです • Caffeでの実験にmafを組み合わせて効果的なディープラーニングの開発・ 実験する⽅方法を提案しました 29
- 31. ⾼高次元な⼊入⼒力力データを扱う⽅方法について Q. ⾼高次元で疎な⼊入⼒力力を、効率率率的に学習を⾏行行う⽅方法はないか？ A. Sparse Blobの実装はありますが、マージはされていません 疎データを⼊入⼒力力するためのInput Blobは、Sparse Blobとして既に実装され、Pull Requestが提案されています*。しかしまだマージされていないため、もし利利⽤用する場合、 ⾃自⼰己責任で利利⽤用する必要がありそうです。 「Torch7と混同しているかもしれない」と話しましたが、疎データを⼊入⼒力力し内積計算す るLayerはSparse Linear LayerとしてTorch7に存在していました (masterブランチ、コ ミット=704684)** *** * Sparse Data Support #937(https://github.com/BVLC/caffe/pull/937) ** https://github.com/torch/nn/blob/master/SparseLinear.lua *** https://github.com/torch/nn/blob/master/doc/simple.md#nn.SparseLinear 31
- 32. mafを⽤用いたCaffeの並列列実⾏行行について Q. デモでmafを⽤用いたCaffeを実⾏行行した際、1並列列での実⾏行行を指定する-j1オプ ションを付けたのはなぜか？ A. Data Layerに⽤用いたleveldbファイルを同時アクセス出来ないためです Data Layerを⽤用いて訓練データを与える場合、⼊入⼒力力ファイルを予め適切切なファイル形式に変 換しなければなりません（変換コマンドはCaffe側で⽤用意されています）。 その形式の1つのleveldb形式では、同じファイルに複数のプロセスから同時にデータにアク セスすることができません （下記issue参照*）。 今回のデモでは、様々なprototxtを⽣生成しましたが、⼊入⼒力力ファイルは共通していました。複 数のタスクが並列列に⾛走って競合が発⽣生するのを防ぐため1並列列で実⾏行行しました。 issueによるとleveldb形式ではなくLMDB形式を⽤用いれば並列列実⾏行行でも問題ないようです。 * Parallel access to Leveldb #695(https://github.com/BVLC/caffe/issues/695) 32
- 33. Mac OS 10.9でのCaffeのインストール (1/2) Q. Mac OS 10.9上でCaffeを簡単にインストールする⽅方法はないか？ A. GPUを使わないならば10.8とほぼ同等の⽅方法でできます 公式サイトのインストール⼿手順にある通り、Mac OS 10.9でのインストール⽅方法は10.8 以前とは異異なります。 その原因の⼀一つがデフォルトで使⽤用するC++ライブラリです。Mac OS 10.9ではデフォ ルトC++コンパイラであるClang++はlibc++をデフォルトで⽤用いています。しかし、 NVIDIAのCUDAはlibstdc++でコンパイルしたライブラリとしかリンクできません。 33
- 34. Mac OS 10.9でのCaffeのインストール (2/2) 回避策は⼤大きく分けて2通りあります。 1. ⼀一つ⽬目はClang++のコンパイラをlibc++からlibstdc++に変更更する⽅方法(本家サイトで 紹介されている⽅方法)。 2. (GPUを使⽤用しない場合) 10.8以前の⽅方法にいくつか⼿手順を加える⽅方法。make allを⾏行行 う前にMakefile.configを2箇所修正します( (1)--libstdc++の削除(2)コメントアウトされ たCPU_ONLY:=1の有効化) 。NVIDIAのライブラリを使わないのでデフォルトのライブ ラリがlibc++でも問題なくCaffeをビルドできます。 ※ GPU未使⽤用のインストール⼿手順は@mooopanさんに指摘していただきました 34