NEDO特別講座_画像処理・AI技術活用コース_後編

Copyright © 2021 Systems Engineering Consultants Co.,LTD. All rights reserved.
NEDO特別講座
画像処理・AI技術活用コース後編
加藤隆典

講座内容
前編
◼ ロボットシステムでのAI活用事例
◼ AIを活用したロボットシステムのチュートリアル
後編
◼ チュートリアルのおさらい
◼ AIを活用したロボットシステムの設計のポイント
◼ AIを活用したロボットシステムの運用のポイント
2

チュートリアルのおさらい
3

画像処理・AI技術活用コース前編では、ROSを利用したロボットシステムに、
物体検出の機能を組み込んだシステムを構築しました。
チュートリアルのソースコード・実装手順
については、動画の概要欄に記載のGithubの
ページを参照してください。
4

チュートリアル全体の流れ
5
物体検出システムを作成する
物体検出モデルをSSDに入れ替える
物体追跡機能を追加する

6
uvc_camera
_node
object_detector
_yolo_node
preprocess
_node
web_video_server
_node
annotation
_node
/image_raw
/object_detection
_result
/preproessed
_image
/annotated
_image
Node
Topic
凡例
物体検出システムのノード構成
カメラ画像前処理物体検出
結果描画ビデオストリーミング

7
uvc_camera
_node
object_detector
_ssd_node
preprocess
_node
web_video
_server_node
annotation
_node
/image_raw
/object_detection
_result
/preproessed
_image
/annotated
_image
物体検出システムのノード構成（物体検出モデルをSSDに入れ替え）

8
uvc_camera
_node
object_detector
_yolo_node
preprocess
_node
web_video
_server_node
annotation
_node
/image_raw
/object_detection
_result
/preproessed
_image
/annotated
_image
object_tracking
_node
/object_track
_result
物体検出システムのノード構成（物体追跡機能を追加）
トラッキング

AIを活用したロボットシステムの
設計のポイント
9

AIを活用したロボットシステムの設計のポイント
物体検出などのAIによる画像認識は、処理を細分化してノード分割することで、
アルゴリズムの入れ替えや追加が容易となります。
10
画像前処理
画像認識
モデル
統合・加工
画像取得
表示
他のノード

➢ 他のモデルと交換可能なように、各モデルに依存しない汎用的な
インタフェースとなるよう設計します。
11
実行するデバイスや目標とする精度・速度によって
画像認識モデルを選択する必要があります。
YOLO SSD
SSD
mobilenet
EficientDet
画像前処理
画像認識
モデル
統合・加工
画像取得
表示
他のノード

➢ 物体検出などの画像認識モデルの検出結果は、汎用的なメッセージとして
定義します。
12
物体カウント物体までの距離推定
移動方向検出
移動・停止検出
物体追跡
画像前処理
画像認識
モデル
統合・加工
画像取得
表示
他のノード
検出結果は、別の情報と統合・加工することで、より高度な
情報となるため、様々なノードでの利用が考えられます。

◼ SLAMで得られた障害物の情報に物体検出の結果を統合することでより高
度な制御が可能となる
◼ 点字ブロックなどの進入禁止エリアの判別
◼ 障害物の判別（歩行者、車両、構造物など）
13
AIを活用したロボットシステムの設計のポイント：
自律移動ロボットに物体検知を組み込む例
自律移動ロボット
歩行者
構造物

ROSでよく利用される自律移動パッケージ
https://robo-marc.github.io/navigation_documents/
aml
sensor transforms
odometry source
global_planner global_costmap
local_costmap
recovery_behaviors
map_server
sensor_sources
local_planner
move_base
sensor_msg/LaserScan
sensor_msg/PointCloud
tf/tfMessage
nav_msgs/odometry
nav_msgs/GetMap
geometry_msgs/PoseStamped
geometry_msgs/Twist
base controller

障害物に応じてインテリジェントに速度調整可能な自律移動システム
geometry_msgs/PoseStamped
aml
sensor
transforms
odometry source
global_planner global_costmap
local_costmap
recovery_behaviors
map_server
sensor_sources
local_planner
move_base
sensor_msg/LaserScan
sensor_msg/PointCloud
tf/tfMessage
nav_msgs/odometry
nav_msgs/GetMap
geometry_msgs/Twist
speed_controller
base controller
object_detector preprocess camera_sensor

まとめ
◼ ROSでAI技術を利用する場合でも、設計上注意するべき点は一般的なROS
の設計のポイントと大きく変わりません。
➢ 適切なノード分割
➢ メッセージ定義の共通化
16
AI技術を利用する場合は特に以下を意識した設計にすることがポイントです。
• モデル選択の試行錯誤があるため、モデル部分の交換を容易にする
• 検出結果を加工・統合しやすくするため、汎用的なメッセージを定義する

AIを活用したロボットシステムの
運用のポイント
17

AIを活用したロボットシステム運用のポイント：エッジAI用デバイスの選択
検証中は、性能の良いPC/GPUを利用できるが、ロボットに組み込む場合には、
デバイスの性能が制限されます。
◼ 他のコンピュータにUSBで接続して利用するAI計算用デバイス
◼ Google Coral Edge TPU USB Accelerator
◼ Intel Neural Compute Stick
◼ エッジAI計算用コンピュータ
◼ Jetson Nano
◼ Jetson Xavier
18

AIを活用したロボットシステム運用のポイント：物体検出モデルの選択
19
出典：[1] Mingxing Tan, Ruoming Pang, Quoc V. Le. EfficientDet: Scalable and Efficient Object Detection. CVPR 2020.
Arxiv link: https://arxiv.org/abs/1911.09070,
https://github.com/google/automl/tree/master/efficientdet
性能の低いデバイス向け

様々な物体検出モデルがオープンソースで開発されており、選択肢は多様です。
以下のように、モデル部分を交換可能とすることで、目標とする精度・速度に
合わせたモデルを選択できます。
20
YOLO SSD
SSD
mobilenet
EficientDet
画像前処理
画像認識
モデル
統合・加工
画像取得
表示
他のノード

エッジAI用デバイスでは以下の観点も重要です。
◼ メモリ使用量
◼ 消費電力
学習済みのモデルを最適化することで、処理速度・メモリ・消費電力に制限の
あるデバイスでもAIを利用できます。
21
学習用PC
エッジ
デバイス
画像認識
モデル
最適化済み
AIモデル
学習推論
◼ 高速化
◼ メモリ使用量低減
◼ ハードウエアへの最適化

◼ Tensorflow Lite
https://www.tensorflow.org/lite?hl=ja
対象デバイス
◼ Android
◼ iPhone
◼ 組み込み Linux
◼ TensorRT
https://developer.nvidia.com/tensorrt
対象のデバイス
◼ Jetson Nano
◼ Jetson Xavier
◼ ほかNvidiaのデバイス
22

23

NEDO特別講座_画像処理・AI技術活用コース_後編

More Related Content

What's hot (17)

Similar to NEDO特別講座_画像処理・AI技術活用コース_後編 (20)

NEDO特別講座_画像処理・AI技術活用コース_後編