![spark-submit
--master local[physcial_core_number]
--class
com.intel.analytics.bigdl.example.MLPipeline.DLClassifierLeNet
./dist/lib/bigdl-0.1.0-SNAPSHOT-jar-with-dependencies.jar
-f path_to_mnist_folder
-b batch_size
↑
こんな感じで実行例書いていることが多いですが、
自分の環境(zsh)では、
spark-submit
--master “local[physcial_core_number]”
--class
com.intel.analytics.bigdl.example.MLPipeline.DLClassifierLeNet
./dist/lib/bigdl-0.1.0-SNAPSHOT-jar-with-dependencies.jar
-f path_to_mnist_folder
-b batch_size
spark-submit での実行時](https://image.slidesharecdn.com/scalakansaisummit2017-170919230044/85/BigDL-Scala-x-DeepLearning-50-320.jpg)
![$ pip install tensorboard==1.0.0a6
:
:
Uninstalling numpy-1.8.0rc1:
Exception:
:
などと言われ、
numpyのアンインストールを試みると、
pip uninstall numpy
:
:
Exception:
:
OSError: [Errno 1] Operation not permitted:
:
などと言われてしまい、インストールできてない。
!MacOS Xデフォルトのpythonでは、入れられないとかどうとか・・
TensorBoard インストール時](https://image.slidesharecdn.com/scalakansaisummit2017-170919230044/85/BigDL-Scala-x-DeepLearning-51-320.jpg)
![[事例紹介]Scalaで物流倉庫システム作ったよ](https://cdn.slidesharecdn.com/ss_thumbnails/scala170908-170919052415-thumbnail.jpg?width=560&fit=bounds)
![[Scalamatsuri2016]あ、社内コミュニティ](https://cdn.slidesharecdn.com/ss_thumbnails/scalamatsuriltnosato-160131091336-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to BigDLでScala × DeepLearning に入門した話 (20)
Ad
BigDLでScala × DeepLearning に入門した話
- 1. BigDLでScala × DeepLearning に入門した話 nosatohirotaka Scala Kansai Summit 2017 サブホール2 11:15-11:35
- 2. 1. 自己紹介 2. 発表動機 3. BigDL 4. DeepLearning 5. 入門 目次
- 3. 自己紹介
- 4. - nosatohirotaka @nosattee MOTEX Inc. Scala歴 3年目 python, C++ Elasticsearch AWS Hololens Lagom こういう人
- 8. 今日の話
- 12. 、、というわけで。
- 14. 発表動機
- 15. 昔やったこと • Amazon S3 + Apache Spark + Amazon EMR • 自分と行動が似ている人のランキングを算出 • spark.ml(Machine Learningライブラリ)で 類似度計算 Amazon EMR cluster Amazon S3 user Amazon S3 user
- 16. Spark+EMR たのしい！
- 18. Title Text * http://scalatimes.com/d47496c4f6 MOOC: Massive Open Online Course=大規模公開オンライン講座
- 22. This course: ‣ This is a course about distributed data parallelism in Spark. Not a machine learning or data science course! ‣ Extending familiar functional abstractions like functional lists over large clusters. ‣ Context: analyzing large data sets. だけど
- 23. This course: ‣ This is a course about distributed data parallelism in Spark. Not a machine learning or data science course! ‣ Extending familiar functional abstractions like functional lists over large clusters. ‣ Context: analyzing large data sets. だけど… マシンラーニングやデータサイエンスのコースちゃうで。
- 25. BigDL: Apache Spark用の分散型 DeepLearningライブラリ Python Supportもある https://github.com/intel-analytics/BigDL intel 謹製 でも・・こんなのみつけた。。
- 26. Rich deep learning support. Modeled after Torch BigDL provides comprehensive support for deep learning, including numeric computing (via Tensor and high-level neural networks; in addition, you can load pretrained Caffe* or Torch models into the Spark framework, and then use the BigDL library to run inference applications on their data. Efficient scale out. BigDL can efficiently scale out to perform data analytics at “big data scale” by using Spark as well as efficient implementations of synchronous stochastic gradient descent (SGD) and all-reduce communications in Spark. Extremely high performance. To achieve high performance, BigDL uses Intel® Math Kernel Library (Intel® MKL) and multithreaded programming in each Spark task. Consequently, it is orders of magnitude faster than out-of-the-box open source Caffe, Torch, or TensorFlow on a single-node Intel® Xeon® processor (i.e., comparable with mainstream graphics processing units). BigDLとは https://software.intel.com/en-us/articles/bigdl-distributed-deep-learning-on-apache-spark
- 27. Rich deep learning support. Modeled after Torch BigDL provides comprehensive support for deep learning, including numeric computing (via Tensor and high-level neural networks; in addition, you can load pretrained Caffe* or Torch models into the Spark framework, and then use the BigDL library to run inference applications on their data. Efficient scale out. BigDL can efficiently scale out to perform data analytics at “big data scale” by using Spark as well as efficient implementations of synchronous stochastic gradient descent (SGD) and all-reduce communications in Spark. Extremely high performance. To achieve high performance, BigDL uses Intel® Math Kernel Library (Intel® MKL) and multithreaded programming in each Spark task. Consequently, it is orders of magnitude faster than out-of-the-box open source Caffe, Torch, or TensorFlow on a single-node Intel® Xeon® processor (i.e., comparable with mainstream graphics processing units). BigDLとは https://software.intel.com/en-us/articles/bigdl-distributed-deep-learning-on-apache-spark Spark上で動かせるDeepLaearningライブラリ Intel CPUを駆使することで高速に処理可能！ * v0.2.0になってドキュメントがかなり充実しました！
- 28. おもろそうやん
- 33. ニューロン 1 シナプス: 重みを持っている 1 0 1 1 0 ニューロン もしくは 入力層 からの値 4 0 1 -2 0 ニューロン: 活性化関数を持つ バイアス: -2 +4 +1 +2 -3 -2 活性化関数に 入力の合計+バイアスを 入力した時の値を出力 活性化関数: ステップ関数, ReLU, Softmaxなど・・ 例ではわかりやすく整数値にしてます が、実数値の入出力もできます。
- 34. 学習 = パラメータの最適化 1) ラベル付けした大量のデータを準備 2) ニューラルネットに放り込む 3) 入力と結果の誤差が少なくなるように、パラメータ(重み, バイアス)の調整 * BackPropagation : 出力結果を見て、前の層に向かって順次調整する。 * Loss Function : 出力結果と正解のズレを数値化して、パラメータ修正の 指標にする。 * Gradient Descent : パラメータ修正によって正解のズレの値がどれだけ 変化するかを見ながら、最適な調整をしていく。 4) 2, 3を繰り返して誤差を少なくしていく
- 36. BigDLとは
- 40. 入門
- 42. 学習用データセットいくつか • MNIST 0-9の手書き数字 • CIFAR-10 • 10カテゴリの画像データ • COCO (Common Objects in Context) • 1枚の写真の中に複数の物体が写っている https://www.cs.toronto.edu/~kriz/cifar.html http://cocodataset.org/
- 43. bigDLのMNIST example https://github.com/intel-analytics/BigDL/tree/ master/spark/dl/src/main/scala/com/intel/ analytics/bigdl/example/lenetLocal * ローカル動作用のサンプルコード * Lenet-5という5層構造の畳み込みニューラルネット ワークが用いられている
- 45. Testをやってみる。 Trainを実行時に過程 (checkpoint)が記録されて いる Testにその過程とテスト データを渡すと結果を出力 回数が増えるにつれて正答 率が上がってた！ 反復学習 回数 正答率 60 0.7474 119 0.8674 178 0.8984 237 0.9138 296 0.9245
- 49. さいご ハマったりしたこと
- 50. spark-submit --master local[physcial_core_number] --class com.intel.analytics.bigdl.example.MLPipeline.DLClassifierLeNet ./dist/lib/bigdl-0.1.0-SNAPSHOT-jar-with-dependencies.jar -f path_to_mnist_folder -b batch_size ↑ こんな感じで実行例書いていることが多いですが、 自分の環境(zsh)では、 spark-submit --master “local[physcial_core_number]” --class com.intel.analytics.bigdl.example.MLPipeline.DLClassifierLeNet ./dist/lib/bigdl-0.1.0-SNAPSHOT-jar-with-dependencies.jar -f path_to_mnist_folder -b batch_size spark-submit での実行時
- 51. $ pip install tensorboard==1.0.0a6 : : Uninstalling numpy-1.8.0rc1: Exception: : などと言われ、 numpyのアンインストールを試みると、 pip uninstall numpy : : Exception: : OSError: [Errno 1] Operation not permitted: : などと言われてしまい、インストールできてない。 !MacOS Xデフォルトのpythonでは、入れられないとかどうとか・・ TensorBoard インストール時
- 55. おわり