2018/07/26 Game change by Deep Learning and tips to make a leap
Download as PPTX, PDF0 likes1,764 views
This is a slide we have showed in THE AI 2nd at Roppongi Academyhills. 2018年7月26日六本木アカデミーヒルズにて行われたTHE AI 2ndでの講演資料です。 https://ledge.ai/the-ai-2nd/
![4
28.2 25.8 26.1
16.4
11.7
6.7
3.57
2.99
2.25
1
10
2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020
Top-5ErrorRate[%]
Year
Deep Learning従来型
機械学習
圧倒的な認識性能を示すDeep Learning
従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある
人の認識誤差
？
画像認識における精度向上
年率50%に迫る
誤差の改善](https://image.slidesharecdn.com/20180726deeplearning-180730123657/85/2018-07-26-Game-change-by-Deep-Learning-and-tips-to-make-a-leap-4-320.jpg)
![[Japan Tech summit 2017] MAI 001](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfmai001-171115034129-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to 2018/07/26 Game change by Deep Learning and tips to make a leap (20)
![[Gree] グリーのソーシャルゲームにおける機械学習活用事例](https://cdn.slidesharecdn.com/ss_thumbnails/gree-170929124211-thumbnail.jpg?width=560&fit=bounds)
Ad
2018/07/26 Game change by Deep Learning and tips to make a leap
- 1. THE AI 2018 2nd ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社 シニアマシンラーニングリサーチャー 小林 由幸 Deep Learningのもたらすゲームチェンジと、 飛躍へのヒント
- 2. 2 自己紹介 小林 由幸 1999年にソニーに入社、2003年より機械学習 技術の研究開発を始め、音楽解析技術「12音 解析」のコアアルゴリズム、認識技術の自動 生成技術「ELFE」などを開発。近年は 「Neural Network Console」を中心にディー プラーニング関連の技術・ソフトウェア開発 を進める一方、機械学習普及促進や新しいア プリケーションの発掘にも注力。 こばやし よしゆき
- 4. 4 28.2 25.8 26.1 16.4 11.7 6.7 3.57 2.99 2.25 1 10 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Top-5ErrorRate[%] Year Deep Learning従来型 機械学習 圧倒的な認識性能を示すDeep Learning 従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある 人の認識誤差 ？ 画像認識における精度向上 年率50%に迫る 誤差の改善
- 6. 6 Deep Learningを用い、認識機を作成するために必要な作業 … … … … … … … 画像認識機 （Neural Network） Input：画像 Output：画像認識結果 「2」 1. データセットを用意する 入力と、期待する出力のペアを多数用意 （教材の準備に相当） 2. ニューラルネットワークの構造を 設計する（脳の構造設計に相当） 3. 用意したデータセットで、設計した ニューラルネットワークを学習する 従来の機械学習手法と比較して、高い性能を実現できると同時に扱いやすい技術でもある … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」
- 7. 7 入出力次第で広がるDeep Learningの活用 …入力 出力 実現する機能 入力 出力 画像認識 画像 カテゴリ 文章の自動仕分け 文章 文章カテゴリ 音声認識 音声 文字列 機械翻訳 英単語列 日単語列 人工無能（チャットボット） 入力発話の単語列 期待応答の単語列 画像加工 入力画像 出力画像 ロボット制御 ロボットのセンサ ロボットのアクチュエーター … Deep Learningは高い汎用性を備えた技術。応用範囲はどんどん広がっている 実現する機能
- 8. 8 Deep Learningにより大きく変わる機能開発の概念 従来 機能をモジュールに分解して開発 Deep Learning時代 End-to-end学習 • 必要な機能をモジュールに分解（設計） • プログラムにより各モジュールを実装 実現できる機能の複雑さ∝プログラム量 • 入力から出力を得る機能をデータからの 学習で直接獲得 実現できる機能の複雑さ∝データ量 高機能、高性能を実現するために求められるものは、設計ノウハウからデータに 画像勾配計算 手書き数字認識 画像特徴抽出前処理 ヒストグラム 判別分析
- 9. 9 Deep Learningのもたらすゲームチェンジ • Deep Learningは簡単。知的処理の開発は、一般の技術者でも十分可能に • Deep Learningは汎用。画像認識以外にも様々な機能を実現できる • 機能分解型の設計から、End-to-End学習による機能開発へ • Deep Learningにおいて、性能を決定づけるのはノウハウではなくデータ • 企業の価値創造に求められるスキルセットが変化 • 需要増：「何を実現すればよいか」を見出す能力、データを集める能力 • 需要減： 機能分解型の設計ノウハウ 企業によっては戦略の見直しが必要に
- 10. 10 AIは破壊的テクノロジー 半導体 デジタル コンピュータ インターネット クラウド （AI） 破壊的テクノロジーの特徴 • 今まで難しかったことを簡単にする • 応用範囲が極めて広い • 技術の進歩が、技術の進歩自身を加速する • 使う側に意識の変容を求める • 広大な市場を創出する 早期の取り組みが極めて有利に働く
- 12. 12 ソニーのDeep Learningに対する取り組み Neural Network Libraries / Consoleにより、効率的なAI技術の研究開発を実現 2000年以前～ 機械学習の研究開発 2010年～ Deep Learningの研究開発 2011年～ 初代コアライブラリ 2013年～ 第二世代コアライブラリ 2016年～ 第3世代コアライブラリ Neural Network Libraries 2015年～ GUIツール 2010年～ Deep Learning開発者向けソフトウェアの開発 Deep Learningを用いた認識技術等の 開発者が用いるソフトウェア群 技術開発効率を圧倒的に向上 Neural Network Console 17/8/17 Windows版無償公開 18/5/9 クラウド版正式サービス開始 17/6/27 オープンソースとして公開
- 13. 13 Neural Network Libraries / Consoleとは Neural Network Libraries ・Deep Learning研究開発者向けオープンソースフレーム ワーク（他社製既存Deep Learning FWに相当） ・コーディングを通じて利用→高い自由度 ・最先端の研究や製品への実装にも柔軟に対応 Neural Network Console ・研究や、商用レベルの技術開発に対応したDeep Learningツール ・様々なサポート機能→高い開発効率 ・GUIによるビジュアルな操作→敷居が低い 主なターゲット ・じっくりと研究・開発に取り組まれる方 ・プログラミング可能な研究、開発者 import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 主なターゲット ・特に開発効率を重視される方 ・はじめてDeep Learningに触れる方 研究開発における課題を解決し、Deep Learningの研究開発を効率化するソフトウェア 学習エンジンとして Neural Network Librariesを利用
- 14. 14 Deep Learning 応用技術開発の流れ コアアルゴリズム開発 開発環境 商品技術開発 各事業会社 応用技術開発 R&D および 各事業会社 コア技術開発 R&D Neural Network Libraries/ Console ○○認識機等、各種Deep Learning応用技術の開発 各種製品、サービスへのDeep Learning応用技術の搭載 … 研究開発者だけではなく、各事業部の担当者が直接Deep Learningを活用 …
- 15. 15 Neural Network Libraries / Consoleのソニーグループ内活用事例 価格推定 ソニー不動産の「不動産価格推定エンジン」に、Neural Network Librariesが使用されています。この技術を核として、ソニー不動産が持つ査定ノウハウ やナレッジをベースとした独自のアルゴリズムに基づいて膨大な量のデータを解析し、 不動産売買における成約価格を統計的に推定する本ソリューションが実現されました。 本ソリューションは、「おうちダイレクト」や、「物件探索マップ」「自動査定」な ど、ソニー不動産の様々なビジネスに活用されています。 ジェスチャー認識 ソニーモバイルコミュニケーションズの「Xperia Ear」の ヘッドジェスチャー認識機能にNeural Network Librariesが使用されています。「Xperia Ear」に搭載されているセンサーからのデータを元に、ヘッドジェスチャー認識機能に より、首を縦や横に振るだけで、「Xperia Ear」に搭載されているアシスタントに対し て「はい／いいえ」の応答や、着信の応答／拒否、通知の読み上げキャンセル、次／前 のトラックのスキップを行えます デジタルペーパー ソニーのデジタルペーパー「DPT-RP1」の手書きマーク検索 のうち、＊の認識にNeural Network Librariesが使用されています。文書を読んでいて 「ここが大切」「ここを後で読みたい」と思ったら、 ＊や☆のマークをさっと手書きし ます。手書きマークを認識する機能により、ページ数の多い文書でも、マークを付けた 箇所を素早く検索し、開くことができます。 既にソニーグループ内で多数の商品化・実用化実績
- 16. 16
- 17. 17 Neural Network Libraries/Console開発コンセプト • 大幅に不足していると言われるDeep Learningの研究開発者を育成する • これからDeep Learningを始ようとするユーザにとっての敷居をとことん下げる • 使っている間に、いつのまにかDeep Learningのエキスパートへ • Deep Learningの研究開発者に、目的達成のためのハイウェイを提供する • 最先端研究・商用レベルの技術開発に必要なツールを提供する • Deep Learningの研究開発における面倒を機能で徹底的に解決し、高い開発効率を実現する 初心者にとってもエキスパートへのショートカットとして機能する
- 18. 18 Neural Network Libraries最新情報 • 17/6/27 v0.9.1 最初のOSSバージョン • 17/7/22 v0.9.2 Python 3のサポート • 17/8/3 v0.9.3 マルチGPUのサポート • 17/8/22 v0.9.4 C++のみによる推論機能 • 17/11/8 v0.9.5 MacOSビルドの正式対応など多数の改善 • 17/11/27 v0.9.6 マルチノードのサポート • 17/12/7 v0.9.7 様々な改善 • 18/3/6 v0.9.8 分散学習の改善 • 18/3/28 v0.9.9 Mixed Precision学習対応 • 18/6/27 v1.0.0 ONNX対応、C++学習機能、C Runtime機能、ほか様々な改善 nnabla.org github.com/sony/nnabla https://github.com/sony/nnabla/releases https://github.com/sony/nnabla-ext-cuda/releases より使いやすく、より高速に、より幅広い環境で利用可能に
- 19. 19 Neural Network Console最新情報 • ニューラルネットワークの学習には膨大な演算が必要 • 必要な演算量は主に扱うデータの量とニューラルネットワークの 構造に依存 • GPU、マルチGPUを用いると、学習完了までの時間を 大幅に短縮できる • ネットワークにもよるが、10倍～数百倍高速に学習できる • 同じ開発期間でより多くの試行錯誤を行うことが可能に • 環境のセットアップ、メンテナンス作業不要で豊富な GPUリソースを利用可能 • 開発者はDeep Learningの開発作業に集中できる 最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能 ※計算リソース利用料は 学習・評価実行中のみの従量課金
- 20. 20 Neural Network Libraries/Console 優れたDeep Learningの開発環境を提供し、需要の急拡大するAI技術の普及・発展に貢献 Neural Network Libraries https://nnabla.org/ Neural Network Console https://dl.sony.com/ import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 実現 • Deep Learning技術者の迅速な育成 • 効率的なDeep Learning応用技術の研究開発～実用化 様々な特長を兼ね備えた最新世代のDeep Learningフレームワーク 商用クオリティのDeep Learning応用技術開発を実現する統合開発環境
- 21. 21 まとめ Deep Learningは圧倒的に高い性能を実現するだけではなく、簡単で汎用。 今後急速な活用・普及拡大が予想される Deep Learningの開発はデータトリブンなEnd-to-end学習。 従来からの技術開発の在り方を変える ソニーではNeural Network Libraries/Consoleを社内に展開することで、 効率的なDeep Learning人材の育成と応用技術の開発、実用化を実現してきた ゲームチェンジを受け入れ、飛躍につなげるためには早期の取り組みが重要。 積極活用し、より豊かな社会の実現を