2017年05月27日 AITCシニア技術者勉強会第６回「OpenCV入門」

AITCシニア第六回勉強会
OpenCV入門
～OpenCVを動かしてみよう～
2017年5月27日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会
リーダー荒本道隆
20分でザックリ説明＆デモします
手順は難しくないので、後でやってみてください

この資料の目的
 目的
◦ 情報のINPUTとして、カメラの映像が使えそうか？
◦ OpenCVで何ができて、何が流用できそうかを知る
 準備するもの
◦ PC（Windows/Mac/Linux、HDDの空き5GByte）
◦ USB接続Webカメラ（電気屋のワゴンセールで2,000円以下）
 高解像度のものは、CPU負荷が高いので避けた方が良い
 100～200万画素程度で十分
◦ Raspberry PI
 開発の流れ
◦ Windows/Macで開発＆動作確認
◦ Raspberry PIで本番
2
導入手順はLinux版と同じ

OpenCVとは
 概要
 できること
◦ たくさんあるのでWikipedia参照
◦ http://ja.wikipedia.org/wiki/OpenCV
 できないこと
◦ 音、赤外線、より高いCPUパワーを使った処理
◦ 参照：Microsoft Kinect, Intel Realsense
3
画像処理・画像解析および機械学習等の機能を持つC/C++、
Java、Python、MATLAB用ライブラリ [1] [2]。プラットフォームとして
Mac OS XやFreeBSD等全てのPOSIXに準拠したUnix系OS、
Linux、Windows、Android、iOS等をサポートしている。
Wikipediaより

OpenCVを構成する技術
4
『図６．OpenCVを構成する技術』より
http://www.buildinsider.net/small/opencv/01 このページを読んでみる

OpenCVの動作環境
 動作検証済み環境
◦ Windows7 Professional
◦ Mac OS X
◦ Linux CentOS7, Ubuntu 16.04
 インストールするソフトウエア
◦ Python 2.7.13
◦ Python用ライブラリ numpy
◦ OpenCV 2.4.11
◦ Macのみ導入
 Homebrew
 Xcode, gcc などのコンパイル環境一式
5
違う環境や、うまくいかない場合には、
頑張ってググってください
環境を変更したくない人は、
仮想環境上に導入
仮想環境だと
USB-Webカメラの設定に注意
導入が簡単な2.4系を使用
最新は3.2

導入手順：Windows7
 Python 2.7.13
◦ https://www.python.org/downloads/windows/
 「Python 2.7.13」をダウンロードして、インストール
 注意：32bit版（X86 MSIの方）を選択。Numpyが32bit のみのため
 「Install just for me」を選択
 インストール先は、デフォルトの「C:¥Python27」
 numpy
◦ http://sourceforge.net/projects/numpy/files/NumPy/1.9.2/
 「numpy-1.9.2-win32-superpack-python2.7.exe」をダウンロードして、
インストール
 OpenCV
◦ http://sourceforge.net/projects/opencvlibrary/files/opencv-win/2.4.11/
◦ Windows専用版。ダウンロードして、実行＝解凍
 解凍先は、c:¥temp を指定
6

実行手順：Windows7
 コマンドプロンプトから、以下のコマンドを実行
set PATH=C:¥Python27;%PATH%
set PYTHONPATH=C:¥temp¥opencv¥build¥python¥2.7¥x86
cd C:¥temp¥opencv¥sources¥samples¥python2
python facedetect.py
7
解凍先を変えた場合は、パスを修正[ESC]キーで終了

導入手順：Mac OS X
 Xcodeの導入
◦ AppStoreからXcodeをインストール
◦ １度Xcodeを起動して、ライセンス情報を承認
 Homebrewの導入
◦ http://brew.sh/index_ja.html
◦ ターミナルから、以下のコマンドを実行
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)“
 OpenCVの導入
◦ ターミナルから、以下のコマンドを実行
brew install opencv
◦ 「Error:No available formula for opencv」と出たら、
brew tap homebrew/science
8
プロキシが必要な場合
export http_proxy=http://IPアドレス:ポート番号/
export https_proxy=http://IPアドレス:ポート番号/
1時間くらいかかる

実行手順：Mac OS X
 サンプルの実行環境を構築
◦ http://sourceforge.net/projects/opencvlibrary/files/opencv-unix/2.4.11/
◦ 「opencv-2.4.11.zip」をダウンロード（勝手に解凍される）
 ターミナルから、以下のコマンドを実行
cd Downloads/opencv-2.4.11/samples/python2/
9
[ESC]キーで終了

導入手順簡易版：Linux CentOS7
 Python
◦ 標準で入っている
 Numpy
◦ 以下のコマンドを実行
yum install numpy
 OpenCV
yum install opencv*
 2.4.5と開発ライブラリがインストールされる
 そのため、最新2.4.11のサンプルの一部は正常に動かない
10
/etc/yum.conf に追加
proxy=http://IPアドレス:ポート番号/

導入手順最新版：Linux CentOS7
 OpenCVの最新版をインストールする方法
◦ 公式手順書
sudo yum install cmake python-devel numpy gcc gcc-c++
sudo yum install gtk2-devel libdc1394-devel libv4l-devel ffmpeg-devel gstreamer-plugins-
base-devel
 「opencv-2.4.11.zip」をダウンロードして、ホームディレクトリに解凍
cd $HOME/opencv-2.4.11
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
make
# sudo make install
11
30分くらいかかる
環境をできるだけ変更しないよう、実行しない

導入手順簡易版：Linux Ubuntu 16.04
 Python ＋ Numpy ＋ OpenCV
sudo apt-get install libopencv-dev python-opencv
 2.4.9がインストールされる
 そのため、最新2.4.11のサンプルの一部は正常に動かない
 参考URL：http://milq.github.io/install-opencv-ubuntu-debian/
12
export http_proxy=http://IPアドレス:ポート番号/
export https_proxy=http://IPアドレス:ポート番号/

導入手順最新版：Linux Ubuntu 16.04
 OpenCVの最新版をインストールする方法
◦ 公式手順書
sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev
libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-
dev libjasper-dev libdc1394-22-dev
 「opencv-2.4.11.zip」をダウンロードして、ホームディレクトリに解凍
cd $HOME/opencv-2.4.11
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE -D WITH_FFMPEG=OFF -D
CMAKE_INSTALL_PREFIX=/usr/local ..
make
13
30分くらいかかる
これを付けないとmakeが失敗する
エラー無くビルドできるのは2.4.9
動画の扱いに制限が

実行手順：Linux CentOS & Ubuntu
 サンプルの実行環境を構築
◦ 「opencv-2.4.11.zip」をダウンロードして、ホームディレクトリに解凍
sudo yum install unzip
unzip opencv-2.4.11.zip
 最新版を使いたい場合だけ、以下のコマンドを実行
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HOME/opencv-2.4.11/build/lib
export PYTHONPATH=$PYTHONPATH:$HOME/opencv-2.4.11/build/lib
 Windows/MacからLinuxにssh接続している場合
◦ X-Window Serverが必要
export DISPLAY=Windows/Mac側のIPアドレス:0.0
◦ オススメツール：Xming（無償）
 http://itcweb.cc.affrc.go.jp/affrit/documents/guide/x-window/x-win-xming
 以下のコマンドを実行
cd $HOME/opencv-2.4.11/samples/python2/
14
[ESC]キーで終了
CentOSのみ

Python環境の確認方法：全OS共通
 ライブラリが正しく参照できているか確認する方法
15
[aramoto@localhost ~]$ python
Python 2.7.5 (default, Jun 17 2014, 18:11:42)
[GCC 4.8.2 20140120 (Red Hat 4.8.2-16)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy
>>> print numpy.__version__
1.7.1
>>> import cv2
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ImportError: No module named cv2
PYTHONPATH が設定されておらず、
cv2.pyd/cv2.so が参照できていない場合
バージョンを確認

OpenCV付属のデモを見ていこう
・CCDカメラが無い人は、固定の画像が使われます
固定の画像を強制的に使用：引数に「1」を追加

デモ環境の起動
 デモ環境の起動方法
◦ 必要に応じて、PYTHONPATHやLD_LIBRARY_PATHを設定
 実行手順のページを参照
python demo.py
 Linuxでは、うまく起動できない場合があるので、個別に起動
◦ 注意
 まれにpythonプロセスが大量に残ります。後でOSを再起動してください
 この後の進め方
◦ 使えそうなデモを順番に見て、利用方法を検討していきます
◦ pythonのソースコードは短いので、各自で読んでください
 改造してみたくなったら、思う存分やってください
◦ 後で、全部のデモを一通り見てみてください
 demo.py の解説を読んで、説明動画を見れば、だいたい分かるはず
 見逃してしまった便利機能があるかも
 解説ページ
17

facedetect.py
 顔と目を認識
◦ 解説ページ
◦ 事前に「顔」「顔じゃない」を学習済み
 学習結果が、XML形式で source/data に入っている
 他の物も、学習させれば認識できるようになる
 ねこと画像処理： http://rest-term.com/archives/3131/
18
目だけを肩に貼ってみた
sample/cpp/lena.jpg
顔の外に目があっても、認
識しない作りになっている

peopledetect.py
 人っぽいものを検出
◦ 検出精度はイマイチ
 操作方法
◦ 起動時に、引数で画像ファイルを指定
19
AITCニュースレター第3号
の画像

digits.py
 機械学習による文字認識
◦ 解説ページ
◦ KNearest
◦ SVM
◦ digits_video.py で動画中の数字を探す
20

edge.py
 境界抽出
◦ 『漫画メーカー』が作れそう
21

lappyr.py
 動画にエフェクトをかける
22

deconvolution.py
 「Convolution（畳みこみ）＝ブレ」を解除す
る
23
ナンバーが全く読めない補正したら読めた

motempl.py
 動画の変化部分を検出
24

opt_flow.py
 動画中の物体が、どっちに動いているか
25

camshift.py
 特定の色の領域を追いかける
 操作方法
◦ 追いかけたい色をマウスで範囲指定する
26
Dukeの赤い鼻を追いかけ
ている

plane_ar.py
 ARマーカー無しのAR
 操作方法
◦ ARマーカーとして使いたい領域をマウスで選択
27
Dukeの鼻を
ARマーカーとして指定

find_obj.py
 特徴点抽出を使って、同じ物体を探す
 操作方法
◦ 起動時に、引数で２つの画像ファイルを指定
28

feature_homography.py
 特徴点抽出を使って、同じ物体を探す
 操作方法
◦ 探したい領域をマウスで選択
◦ 注意：特徴点が無いところを選択すると、終了する
29

その他のトラッキング
 lk_track.py
 mosse.py
 plane_tracker.py
30

触ってみて気になったこと
 顔以外の検出
◦ data/haarcascades に frontalface,eye 以外のものが入っている
 別の学習済みデータを使うと、他のものもそれなりに検出できる
 猫の学習済みデータを配布 http://rest-term.com/archives/3131/
◦ 「特定の人」を検出できる？
 「対象の人」「別の人」の学習データが必要。他の機械学習と組み合わせ
 「模様が明確に違う猫」ならいけるんじゃない？
 検出やトラッキングは、どこまでできる？
◦ 対象物の回転、照明の変化
 OpenCVでできる事は意外と限られている
◦ 他の機械学習や他のツールが得意なら、他に任せる → 画像を渡す
◦ Microsoft Kinect,Intel Realsense という選択肢もある
31

他の処理に画像を渡す方法
32http://aitc.jp/events/20150916-Seika/活動成果報告会.pdf
133

2017年05月27日 AITCシニア技術者勉強会第６回「OpenCV入門」

Recommended

More Related Content

What's hot (20)

Similar to 2017年05月27日 AITCシニア技術者勉強会第６回「OpenCV入門」 (20)

More from aitc_jp (20)