![OpenCVによる詳しいpng圧縮 21
void encodePNG(InputArray src, vector<uchar> buff)
{
vector<int> param(4);
param[0]=IMWRITE_PNG_COMPRESSION;
param[1]=9;//1-9
param[2]=IMWRITE_PNG_STRATEGY;
//DEFAULT, FILTERED, HUFFMAN_ONLY, FIXED
param[3]=IMWRITE_PNG_STRATEGY_RLE;
imencode(".png", src, buff, param);
}](https://image.slidesharecdn.com/multikinectv2-150320212051-conversion-gate01/85/KinectV2-21-320.jpg)
複数台のKinectV2の使い方
- 1. 複数台のKinectV2の使い方 福嶋 慶繁 名古屋工業大学 1 2015/3/21 第35回 名古屋CV/PRML勉強会
- 2. 注意事項 2 Kinectは「ナチュラルユーザーインターフェース」 しかし，主な機能である • ジャスチャー認識したり • 人を検出したり • ボーンとったり といった代表的な機能に私は 触ったことがほぼありません（笑）
- 3. Kinect V2 3 RGB 1920x1080 Depth 512x424 FPS 30 接続端子 USB3.0 TOF形式の安価なデプスセンサー
- 4. Kinect V2の通信容量と制限 4 接続台数上限は１PCに1台に制限？ 必要な大域幅は (1920ｘ1080ｘ24bit + 512x424x16bit) x 30fps =1.597Gbps ※USB3.0は５Gbpsまで
- 5. 対策 5 たくさん接続するために，PCクラスタを構築し 高速なネットワークと符号化をうまく使いましょう • １０GbEのハブ 10万円 • １０GbEのNIC 5万円 • 安めのPC 5万 • 手間隙 プライスレス ※通信機器だけでも本体よりも高い
- 7. システム 7
- 8. システム構成イメージ 8 USB3.0 10GbE RGB: JPEG 8bit Depth:LZ4 16bit Clients Server Imaged decode (CPU) Rendering (GPU) 10GbE Hub Kinect V2(s)
- 9. PCクラスタ 9 システムは カメラ付でアシンメトリックなPCクラスタ 複数台のクライアントと中央のサーバで 効率的な負荷分散！ • 重たい処理はクライアントで並列処理 • 符号化などの並列に不向きな処理はCPUで • レンダリングはGPUで
- 10. 符号化 10
- 11. Kinect V2の通信容量と制限（再掲） 11 デプスの符号量はたいしたことが無い？ 必要な大域幅は (1920ｘ1080ｘ24bit + 512x424x16bit) x 30fps ＝1.493 Gbps + 0.104 Gbps =1.597Gbps ※USB3.0は５Gbpsまで
- 13. 動画像の圧縮形式 13 Motion-JPEG：携帯 ＭＰＥＧ２：ＤＶＤ，テレビ ＡＶＣ：ブルーレイ，ワンセグ ＨＥＶＣ：次世代コーデック
- 14. モーションJPEG 高効率な非可逆圧縮 FullHDを13msでエンコード，11.2msでデコード 圧縮率 3.83％（品質80） 1493 Mbps → 57.2 Mbps デプスマップは非圧縮で104Mbps RGB画像のM-JPEG圧縮 14
- 17. 代表的な画像の可逆圧縮フォーマット 予測変換（フィルタ）＋zip圧縮（RLE） フィルタの種類 • Sub：左，Up：上，Average：左と上の平均， Peath：左，上，左上との差分，None：なし 圧縮の種類（zipのオプション，OpenCVでも選択可能） • DEFAULT→Deflate • FILTERED • HUFFMAN_ONLY • RLE • FIXED PNG 17 http://optipng.sourceforge.net/pngtech/z_rle.html
- 18. Run Length Encoding (RLE) 18 A A A A A B B B B B B B B B A A A A 5 B 9 A 3 何個連続するかで短く符号化する方法 Run Length Encoding（ランレングス符号化）
- 19. RLEの特徴 19 FAXなどで使われる符号化方式 速い 必ずしも短くなるとは限らない （全く連続していない文字列は2倍の長さになる） ex １２３４５６７８→１１２１３１４１５１６１７１８１
- 20. RLE の派生 20 Zero RLE：ゼロが何個連続するかで符号化 ゼロに集中する変換を施し，ゼロの符号長だけ短く することで高い符号化効率を達成可能 Switched RLE：RLEを使うかどうかを切り替える ０が続かないときに得をする方法
- 21. OpenCVによる詳しいpng圧縮 21 void encodePNG(InputArray src, vector<uchar> buff) { vector<int> param(4); param[0]=IMWRITE_PNG_COMPRESSION; param[1]=9;//1-9 param[2]=IMWRITE_PNG_STRATEGY; //DEFAULT, FILTERED, HUFFMAN_ONLY, FIXED param[3]=IMWRITE_PNG_STRATEGY_RLE; imencode(".png", src, buff, param); }
- 24. WebP 24 マイ（略)
- 25. LZ4 -Extremely fast compression- 25 https://code.google.com/p/lz4/ 極限まで高速な可逆圧縮符号化方式 zipよりも圧縮効率が少し悪いが，とにかく速い DPCM（前方予測）と組み合わせることで かなり高速な符号化が可能
- 26. PNG+Default 356ms, 36.8% 36.8 Mbps PNG+RLE 14ms, 37.7% 36.8 Mbps JPEG-LS 9ms, 28.8％ 28.8bps DPCM＋LZ4 2.4ms, 66.7% 66.7 Mbps 可逆符号化まとめ 26
- 27. 通信 27
- 28. TCP パケット落ちない パケットの順番が変わらない 速度が可変かつ遅い（様々な制御を含むため ） UDP パケット落ちる パケットの順番が変わる 最速（全力） TCPとUDP 28
- 30. キャリブレーション 30
- 35. Camera Setup 35
- 37. 左カメラ（IR） 37
- 38. 右カメラ（IR） 38
- 39. 左カメラ（RGB） 39
- 40. 右カメラ（RGB） 40
- 41. センサとキャリブレーション結果のずれ 41 y = 1.0261x + 2.5975 1000 1500 2000 2500 1000 1500 2000 2500 キャリブレーションのｚ値 センサのｚ値 オフセットと定数倍のずれ．
- 43. 取得直後にレジストレーション XYZRGBを圧縮（24bit（色）+96bit（座標）の情報） • 符号化効率は最悪といって良い • PCLの圧縮はただのサブサンプル 通信後にレジストレーションとアップサンプル RGB画像とデプスマップを圧縮 • 符号化効率は最大 • サーバでレジストレーションとアップサンプルをする必要性 取得後にレジストレーションだけ レジストレーション＋穴埋めをして符号化 サーバ側でアップサンプル • 上記よりも負荷分散に優れ符号化効率も問題ない レジストレーションと符号化効率 43
- 44. RGB画像 モーションJPEGで圧縮 デプスマップ 1. RGB視点にレジストレーション（後述） 2. 穴埋め 3. DPCM＋LZ4で圧縮 4. 高解像度ガイド情報付のアップサンプル ポイントクラウド符号化の手順 44
- 45. デプスマップの解像度をRGB画像の大きさに拡大 デプスマップの特性を失わないように拡大 輪郭がぼけない RGBの輪郭はエッジと一致 NN Upsampling ただの最近傍法．2ms．KinectV2のマッピングはこれ． Joint Bilateral Upsampling RGB画像の情報をガイドにしてエッジ保持をした拡大 アップサンプル 45
- 46. Joint Bilateral Upsampling 46 高解像度の色情報をガイド にして補間する値を決定 処理速度 40ms（CPU）
- 50. 50
- 51. マウスとキーボードのネットワーク共有ソフト http://synergy-project.org/?hl=ja 2画面ディスプレイのように複数台のマシンを使用可能 隣の画面にマウスを持っていけば隣のマシンのウィン ドウを操作可能 いろんなOSを混ぜることも可能！ • クライアントWindows 8 サーバーLinuxな環境も Synergy 51 左で右のマシン“も“操作可能 LAN