SlideShare a Scribd company logo

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜

SSII
SSII

6/9 (木) 09:30～10:40メイン会場 講師：河口 信夫 氏（名古屋大学）、斉藤 之寛 氏（株式会社ティアフォー） 概要： 自動運転を実現するためには、ロボットビジョンに基づき、環境を認識するために様々な処理（パーセプション）を行っています。 本講演では、Autoware を事例とし、自動運転に使われている画像処理、３D物体認識や、それらを用いた自動運転における判断・制御について解説します。また、AutowareはROS上で動作しており、様々なセンサやアクチュエータを利用できるので、自動車だけでなく、小型の自律移動ロボットにも活用可能です。Autoware を活用している様々な自律移動ロボットを紹介します。

1 of 101
自律移動ロボットのための ロボットビジョン 〜オープンソースの自動運転ソフトAutowareを解説〜 2022.6.9 河口 信夫（名古屋大学／株式会社ティアフォー） 斉藤 之寛（株式会社ティアフォー）
本日のチュートリアル構成 • イントロ： 河口 信夫（名古屋大/TIER IV） • 自律移動ロボットとは • ROSとは？ Autoware とは？ • The Autoware Foundation • Autoware.ai から Autoware Core/Universe へ • メイン：斉藤 之寛 （TIER IV） • 自動運転 • Autowareのアーキテクチャ • 自動運転のためのロボットビジョン
自己紹介：河口 信夫（かわぐち のぶお） 名古屋大学 工学研究科 情報・通信工学専攻 教授 （未来社会創造機構モビリティ社会研究所 副所長) TMI (超学際移動イノベーション）卓越大学院 コーディネータ 自動運転ベンチャー (株) ティアフォー フェロー NPO法人位置情報サービス研究機構(Lisra) 代表理事 総務省スマートIoT推進フォーラム テストベッド分科会長 ・研究テーマ：ユビキタス・コンピューティング 代表的な成果： HASC コーパス/ツール • カウントダウン時刻表アプリ「駅.Locky」（300万人が利用） • 需給交換プラットフォーム/社会活動OS Synerex 駅.Locky
自律移動ロボット • 周囲の状況をセンサー等で認識して、状況を判断し 自律的に移動できるロボット • 今後の社会で様々な活躍が期待されている • 自動運転車両 • 自律移動車椅子 • 警備ロボット • 自動配送・配膳ロボット • 掃除ロボット
掃除ロボット：ルンバ カメラによる 障害物認識 衝突センサによる 環境認識 走行結果から 地図作成 （SLAM） 赤外線センサによる 段差推定
ロボットを動かす仕組み センサー群 LiDAR GPS CAMERA IMU MOTOR STEERING 環境の認識 自己位置推定 物体認識 センサー ドライバ 判断 空間地図 動作指示 アクチュ エータ ドライバ アクチュエータ群 ロボットミドルウェア / ROS Autoware
自動運転ソフトウェア Autoware Machine Learning/Deep Learning Many-Core CPUs GPUs Embedded OS RTOS and Real-Time Linux ROS CUDA ECU ECU ECU ECU CAN Camera GNSS LIDAR Radar OpenCV PCL Monitoring ADAS Safety Control Control Control Control Perception Planning Control Autonomous Driving System Vehicular System Driver Interface Car Driver Distributed Data Proceesing Large-scale DBMS In-memory DBMS Pedestrian FPGAs Statistical Analysis https://github.com/autowarefoundation/autoware 2015年に名古屋大が公開 ※AutowareはThe Autoware Foundationの登録商標です
(Robot Operating System)とは？ • ロボット向けに多様なセンサ・モジュール・アクチュエータを 統合的に扱えるフレームワーク • ロボット開発におけるツール・ライブラリを提供 • 可視化・シミュレーション・記録・通信 Willow Garage が2007年から開発 （ちなみに、OpenCVの開発にも2008年に参加） • 2009年に最初のROSが公開（0.4） • 2010年にROS1.0 • 2012年に、OSRF が設立 2013年からは開発を主導 （現在では Open Robotics に） • 2017年からは ROS2 もリリース
の特長 • ノード(モジュール)の集合としてシステムを構築 • ノード間は「トピック」と呼ばれるチャンネルを通じて通信 • 複数PC間でも通信可能 • Publish/Subscribe 形式での通信 (送受信の分離） • 多数のパッケージが公開 • ナビゲーション、ロボットハンド • ハードウェアドライバ • ライブラリ（PCL, OpenCV） • 連携ツール
ROSツールの例 視覚化・シミュレーション 強力なGUIでROSとの連携が充実 Gazebo : 3D物理シミュレーター 簡単にシステム状態を視覚化可能 ［再生データ］ ● 記録したセンサデータ (rosbagファイル) ● 指定した値のデータ RViz：3D視覚化ツール
ROS1からROS2へ • ROS１は、研究開発を主なターゲット • 品質保証の枠組みが無く、障害に弱い • ターゲットOSが実質的に Ubuntu のみ • 開発プロセスなどの定義もなし • 独自の通信プロトコル • リアルタイム性などを保障し「プロダクト」として 利用できるソフトウェアが必要 → ROS2では、これらの課題を解決 ・開発プロセスを定め、品質を保証 ・CIのダッシュボードなどを整備 ・標準化された通信プロトコルを導入（OMG標準 DDS）
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
● Master が単一障害点 ● すべてのノードが１つのプロセス ● プロセス間でリソースは共有不可能 ● 「Nodelet」という仕組みはあるが。。。 ○ 別API（実装時間で選択） ○ 壊れやすい ○ 共有ポインター通信のみ ○ QoSなし ● 実行管理/起動順管理が困難 ○ 実行順序を変えるためには再起動 ROS 1:特徴 Master アプリケーション プロセス ノード プロセス ノード プロセス ノード
● Masterなしで、DDSで通信（相互に Discovery） ● 複数ノードを同一のプロセスに統合可能 ○ 全てのノードを一つのプロセスに統合することも可能 ○ 複数のプロセスを利用することも可能 （ノード数＞プロセス数） ● コンパイルまたはランタイムで確定可能 ● 同一プロセスのため下記のメリット ○ ゼロコピー通信が可能 ○ 実行順番が指定可能 ○ 平行または連続実行可能 ○ 振る舞いと実行を分離 ○ ライフサイクル管理 ROS 2:特徴 アプリケーション プロセス ノード プロセス ノード ノード UDP上のDDSまたは 共有メモリ上のDDS ゼロコピー通信
The Autoware Foundation 2018年12月設立 Autoware の国際展開が目的 国際的企業がプレミアムメンバーとして参画 Autoware.ai → これまでのAutoware (ROS1 ベース) Autoware.IO → センサ＋ライブラリ Autoware Core/Universe → 次世代 Autowave (ROS2ベース) Autowareに関する権利を移管
Autowareも ROS2 へ移行 Autoware.ai : ROS1 ベース ・プロトタイプ実装 ・プロダクトには向いていない（認証なし） Autoware Core : ROS2ベース ・製品開発に活用可能 Autoware Universe : ROS2ベース ・Core を包含し、研究開発に利用 ROS1 は 2025には EOL を予定
Autoware Core / Universe • AWF が主にメンテする範囲と、 それ以外の領域を明確化 • Core: • AWF が考慮する ODD に対応 • ドキュメントも完全に • Universe: • Core の上に拡張される機能 • この上で研究開発を行い機能追加 • Robo-Taxi や レースなど 複雑なユースケースに対応
Autowareが実現したこと • 自動運転は社会に大きなインパクトを与える • 単なる技術ではなく、革命的な変化 • 産業的にも影響範囲が大きい • オープンソース化により世界中で利用可能 • 自動車産業以外でも、自動運転に注目 → 何ができるのか、検証のために利用 • 最新技術がすぐに導入できる • 得意な部分だけをやれば、他は借りてこられる • 多様な形態で自動運転が可能 • 乗用車からゴルフカート、小型自動配送ロボットまで 技術的優位性だけでなく、オープン性を武器に 自動運転の民主化！
[SIP第2期自動運転（システムとサービスの拡張）] 自動運転社会実現へのシナリオ
名古屋大学でのAutowareの活用 • 当初は自動運転の実装を目的としてきたが、 ベンチャー設立(TIER IV)で開発中心は移行 • より幅広い応用に向けて、自律移動ロボットに移行 (道路を走る自動車より、様々な考慮が必要） • 自律移動ロボットは、自動車と比較して、 速度は遅く、体積・重量が小さいので実験には使いやすい • 倉庫分野での Autoware 応用を実施
TIER IV LogieeS-TC について • Autowareで遠隔・自動走行が可能（自己位置推定） • サイズ: 694x1100x613mm • 650mmx450mm 程度の20kg 程度の荷物を搭載可能(補強すれば100kg以上も可 能） • 150kg 程度はけん引も可能（ただし、けん引の仕組みは要検討） • 駆動方式：対向2輪型駆動（2輪独立駆動） • 車輪サイズ：16inch • 移動速度： 6km程度 • 最大移動距離：16-24 km程度 Autowareによる自動制御の例
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
自律移動ロボットの実験場所 23 ◼物流センター 2Fの実際の倉庫の一部で実証 （実作業を行っている中で、混在して実験を実施）
Autoware で得られた点群3次元地図 24
25
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
Autoware 対応をしている他のロボット • ROSベースのため、ベースのロボットの変更が容易 MiR Thouzer(Doog)
固定LiDAR＋カメラとの連携 LiDAR : Robosense LiDAR-M1 :75万点／秒 FOV: ±12.5度 (自動運転用を固定設置で利用） カメラ : 4K解像度
ロボット側からの視点
画像処理による作業者の認識
画像処理による作業者の認識
その他の応用 • ディスプレイロボット • バッテリーロボット
TIER IV Speaker Saito Yukihiro 前職ではソニー株式会社の研究開発本部に所属し、自律移動ロボテ ィクスシステムのソフトウェア開発に従事。 現在はTIER IVにて、自動運転OSS「Autoware」における全体アー キテクチャ設計および認識モジュールの開発を担当
TIER IV CONTENTS 01 / INTRODUCTION • 自動運転の意義とは • 自動運転がもたらす世界 • 自動運転の歴史 02 / TECHNOLOGY • Autowareから見た世界 • Autowareのアーキテクチャー • Vehicle & Sensors • Sensing & Localization • Perception: Traffic Light Recognition • Planning : Lane Driving • Control • Perception: Detection • Simulation & Tests 03 / CLOSING
INTRODUCTION 01
TIER IV 自動運転の意義とは？ 世界で交通事故により年間130万人が死亡 毎日ボーイング787が約12機墜落している換算 自動車の運転による拘束 車社会のアメリカでは毎日の通勤に平均1時間かかっている https://www.jasic.org/j/14_automated-driving/pdf/sympo5.pdf
TIER IV 自動運転の歴史 37 2004 2009 2014 2018 2015 DARPA Grand Challenge Google (Waymo) 自動運転プロジェクト開始 Autoware 研究開発開始 The Autoware Foundation 設立 Autowareリリース TIER IV設立 2007 DARPA Urban Challenge 1920~1980 磁気マーカーを使った自動運転 https://www.youtube.com/watch?v=ntIczNQKfjQ&feature=youtu.be https://www.youtube.com/watch?v=cdgQpa1pUUE https://ja.wikipedia.org/wiki/DARPA%E3%82%B0%E3%83%A9%E3%83%B3%E3%83%89%E3%83%BB%E3%83%81%E3%83%A3%E3%83%AC%E3%83%B3%E3%82%B8 https://www.herox.com/blog/159-the-drive-for-autonomous-vehicles-the-darpa-grand 1980~ カメラ・レーザーレンジセンサーを用 いた自動運転の研究 Autoware開発推進の業界団体 世界中の約50社が加入 Autoware : 自動運転システム用オープンソースソフトウェア
TIER IV What is Autoware? The world’s first open-source autonomous driving software 30+ 20+ 500+ Vehicles Countries Companies
TIER IV
TECHNOLOGY 02
TIER IV
TIER IV
TIER IV
TIER IV
TIER IV
TIER IV
52
TIER IV 53
TIER IV Dynamic Object Traffic Light Detection Classifier Mission Scenario Selector Control Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Vehicle
TIER IV Dynamic Object Mission Scenario Selector Control Map Data Vehicle Interface Parking Etc. Scenario Planning Perception Tracking Prediction Sensors Vehicle Localization Sensing Lane Driving Traffic Light Detection Classifier Control Detection 最後にお話しします
Vehicle & Sensors
TIER IV Dynamic Object Mission Scenario Selector Control Map Data Vehicle Interface Parking Etc. Scenario Planning Perception Detection Tracking Prediction Sensors Vehicle Localization Sensing Lane Driving Traffic Light Detection Classifier
センサー構成図 Velodyne VLS-128 Alpha Prime (LiDAR / 360° Detection) Velodyne VLP-16 (LiDAR / Side/Rear Detection) Livox Horizon (LiDAR / Long-range Detection) FLIR BlackflyS w/ JetsonAGX (Camera / Object Recognition) Leopard Imaging w/ FlickerMitigation (Camera / Traffic Light Recognition) u-blox F9P (GNSS / Localization) TamagawaSeiki TAG300N (IMU/ Localization) Livox Horizon Livox Horizon Leopard Imaging 38 deg + 65 deg FLIR BlackflyS 70 deg x 6
LiDAR Velodyne (VLS-128, HDL-64E, VLS-32C, HDL-32E, VLP-16), Hesai (Pandar 20P, Pander 40P, Pandar 64), Ouster (OS-16, OS-64), Robosense (RS-32), Leishen, Innoviz, Omron
Camera - LEDフリッカー対策 - HDR IMX490 一般的なカメラ
Camera-LiDAR LiDAR-LiDAR センサー同期 複数LiDARによる干渉 回転タイミングの同期 Camera x6 + LiDARによる360度センシング LiDARの回転タイミングに 合わせてカメラのシャッターを切る
Sensing & Localization
TIER IV NDT Scan Matching PCD高精度地図 LiDARセンサーデータ
TIER IV Sensing & Localization Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction
TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・点群歪み補正 LiDARの点群1つ1つに観測時刻を埋め込み、 IMUを用いて車両移動による観測の歪みを補正 歪み補正なし 歪み補正あり NDT EKF NDT EKF Sensing & Localization
TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・Pose / Twist インターフェース 研究開発が盛んに行われている他モジュールとの 結合を容易に行えるように、位置と速度情報を 分離して推定し、後段で処理を統合 Sensing & Localization
TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・EKF - NDT Feedback さまざまなセンサーを統合した推定結果を初期位置と して利用し、マッチング精度を上げる NDTが苦手な環境でも継続的に動作可能 ・遅延対応 各センサー間（車両・LiDAR・Autoware）で 時刻同期を行い、計測された遅延を考慮して 現在位置と速度を推定 Sensing & Localization
TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction Sensing & Localization
Perception : Traffic Light Recognition
TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map or ・自車経路に関係する信号機のみを検出・識別 ・高精度マップ上の信号機との対応付 Traffic Light Recognition Image
TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map or 推定誤差によるずれを考慮した候補領域を生成 ※ 自己位置推定誤差、キャリブ誤差、バイブレーション Traffic Light Recognition Image
TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map Image or 画像処理 フィルタ color filter binalize noise filter 入力 画像 青 フィルタ 黄 フィルタ 赤 フィルタ red CNN red 入力 画像 環境・カメラに対して調節がしやすい 矢印等の色識別以外に対して拡張しやすい Traffic Light Recognition
Planning : Lane Driving
TIER IV - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Trajectory Behavior Planner：意思決定・交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 Path Planning : Lane Driving Route To Control
TIER IV - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Trajectory Path Route To Control Planning : Lane Driving ・レーンチェンジ 駐車車両やルート指示に応じてレーンチェンジを行う 周囲の車両速度を見てレーンチェンジの実行可否を判断 Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画
TIER IV ・横断歩道 横断歩道上の歩行者や、横断歩道に向かって走ってくる 自転車等の移動予測から経路速度を調整 ・交差点 交差点周囲の動物体の移動予測情報や、 前方の渋滞車両検知結果などから、交差点における速度を調整 Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner Trajectory Path To Control - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Route
TIER IV Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner From Mission Planner Trajectory Path Route To Control ・障害物回避 / 経路平滑化 / 狭路走行 最適化手法を用いて路駐車両や工事現場領域の回避経路を生成 車両形状と走行可能領域を考慮した狭路の走行経路も対応 Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing
TIER IV Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner From Mission Planner Trajectory Path Route To Control Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 ・速度平滑化 横G・最大速度・加速度制約の下でジャーク（加速度の微分） が最小になるように経路速度を計画 - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing
Control
TIER IV Control Control Command - Steering angle - Steering angle rate - Velocity - Acceleration ・Lateral Controller：経路追従のための操舵角を計算（pure pursuit / MPC） ・Longitudinal Controller：目標速度へ追従するための加速度を計算（PID） ・Vehicle Cmd Gate：最大速度・加速度・ジャーク制約 ・Accel Map Converter：目標加速度をアクセル・ブレーキペダル値へ変換 Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory Longitudinal Controller Vehicle Interface To Vehicle Control Command
TIER IV Control 制御指示の応答遅延 0.3 [s] x 17 [m/s] = 5.1 [m] 路面環境に依存した 摩擦係数の変化 雨・雪など 温度変化や経年劣化による ディスクブレーキ挙動の変化 スロットルと加速度の 非線形性 ステアリング機構の摩擦・不感帯 経路勾配 センサー性能の限界 （ジャーク計算） 乗車人数に応じた質量の変化 ハンドル - タイヤ 可変ギア比 タイヤ弾性・空気圧
TIER IV Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory ・Lateral Controller 経路追従のための操舵角を計算 Control Longitudinal Controller Vehicle Interface To Vehicle Control Command Control Command - Steering angle - Steering angle rate - Velocity - Acceleration - pure pursuit 経路の前方に目標点を設定し、そこへ向かうように 目標操舵角を計算。人の操縦感覚に近い - Model Predictive Control (MPC) 車両データ*を用いて将来の動作を予測し、最も上手く 経路に沿う操舵角を計算。厳密な制御が可能 * 操舵遅延、操舵変化率制約、 横滑りなど
TIER IV Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory Control Longitudinal Controller Vehicle Interface To Vehicle Control Command Control Command - Steering angle - Steering angle rate - Velocity - Acceleration ・Longitudinal Controller 目標速度へ沿うための目標加速度を計算（PID） 加減速指示の遅延や勾配補正も対応 停車時は特殊シーケンスで正着精度と乗り心地を両立 ・加速度マップ 目標加速度を車両のアクセル・ブレーキ値に変換
Perception : Detection 01 / 自動運転におけるDetection 02 / 実環境での難しさ 03 / Detectionの性能向上
TIER IV 自動運転におけるDetection  Cameraベース - CenterNet, SMOKE, etc.  LiDARベース - PointPillars, CenterPoint, etc.  Camera-LiDARベース - Frustum PointNet, etc. 2D Box detection 3D Box detection  Cameraベース - Yolo系, SSD系, etc. 空間情報がわかる3Dの方が多くの自 動運転システムと相性が良い 画像上での位置はわかるが空 間情報がない
TIER IV 自動運転におけるDetection  Cameraベース - CenterNet, SMOKE, etc.  LiDARベース - PointPillars, CenterPoint, etc.  Camera-LiDARベース - Frustum PointNet, etc. ○ センサーが安価 ✖ カメラの内部パラメータまで学習されるため他データセットで転用しにくい ✖ 数十mまでしか距離推定精度がでない(解像度依存) ✖ 360度認識するには複数台必要になり計算コストが大きい ○ 360度認識する計算コストが低い ○ 100m以上まで距離推定精度が安定する ✖ 他データセットで学習したものでは実環境で精度を出しにくい ✖ センサーが高価 ※LiDARベースのPros/Consを引き継ぐ ○ 形状的な特徴が少ないものでも検出が安定 ✖ 手法によってはCamera-LiDARの外部パラメータを学習するため、他データ セットで転用しにくい ✖ 計算コストが大きい
TIER IV 自動運転におけるDetection  Cameraベース - CenterNet, SMOKE, etc.  LiDARベース - PointPillars, CenterPoint, etc.  Camera-LiDARベース - Frustum PointNet, etc. ○ センサーが安価 ✖ カメラの内部パラメータまで学習されるため他データセットで転用しにくい ✖ 数十mまでしか距離推定精度がでない(解像度依存) ✖ 360度認識するには複数台必要になり計算コストが大きい ○ 360度認識する計算コストが低い ○ 100m以上まで距離推定精度が安定する ✖ 他データセットで学習したものでは実環境で精度を出しにくい ✖ センサーが高価 ※LiDARベースのPros/Consを引き継ぐ ○ 形状的な特徴が少ないものでも検出が安定 ✖ 手法によってはCamera-LiDARの外部パラメータを学習するため、他データ セットで転用しにくい ✖ 計算コストが大きい
TIER IV Autowareで現在実装されているDetectionの構成例 CenterPoint Instance Segmentation Merger 2D BB Fusion YOLO Validator Clustering Shape Estimation Detection By Tracker Multi Object Tracking Detection Layer Tracking Layer
TIER IV PointRCNN [1] PointPillars SECOND VoxelNet STD [2] 3DSSD [3] SA-SSD PV-RCNN LiDAR-based 3D Detection VoxelNet-based approaches PointNet-based approaches [1] Shi, Shaoshuai, Xiaogang Wang, and Hongsheng Li. "Pointrcnn: 3d object proposal generation and detection from point cloud." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. [2] Yang, Zetong, et al. "Std: Sparse-to-dense 3d object detector for point cloud." Proceedings of the IEEE International Conference on Computer Vision. 2019. [3] Yang, Zetong, et al. "3dssd: Point-based 3d single stage object detector." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. CenterPoint 計算コストと精度を両立
TIER IV CenterPoint Yin, Tianwei, Xingyi Zhou, and Philipp Krähenbühl. "Center-based 3d object detection and tracking." arXiv preprint arXiv:2006.11275 (2020). Ge, Runzhou, et al. "Afdet: Anchor free one stage 3d object detection." arXiv preprint arXiv:2006.12671 (2020). 点群をBEVの特徴量画像に変換 物体の中心を当てに行き、大きさ姿勢も同時に出力 Lang, Alex H., et al. "Pointpillars: Fast encoders for object detection from point clouds." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.
TIER IV Train: Waymo Inference: Waymo オープンデータセット  nuScenes  Waymo Open Dataset  Kitti Dataset  A2D2  Lyft Level 5 Dataset  Etc. Train: nuScenes Inference: TIER IV 実環境での応用の難しさ 学習とは異なるデータセットで推論した場合、 精度が大幅に低下 要因 - センサ構成/取付位置 - センサモデル - 走行環境
TIER IV Data Augmentationによる汎化性能向上 Train: nuScenes without DA Inference: TIER IV Train: nuScenes with DA Inference: TIER IV Data Augmentation  X軸・Y軸反転  スケーリング - 原点中心・Z軸方向  回転 - Z軸・X軸・Y軸方向  平行移動 - z方向  点群のダウンサンプル  点群のノイズ - 疑似的な雨や霧  物体のコピー&ペースト
TIER IV 実環境で精度を出すためのその他の手段  Domain Adaptationの活用  Synthetic Dataの活用  自前データセットの作成 研究段階で実応用はこれから - 例： ST3D++(Unsupervised Domain Adaptation) Train: Waymo Evaluation: KITTI CAR AP(0.7) easy medium hard Without Domain Adaptation 12.50 12.85 13.87 With Domain Adaptation 70.85 63.49 64.52 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
TIER IV CenterPointの改善の一部の例  BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい  Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
TIER IV CenterPointの改善の一部の例  BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい  Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
TIER IV PointPainting off-the-shelf off-the-shelf with camera calibration params Vora, Sourabh, et al. "Pointpainting: Sequential fusion for 3d object detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. 97 利点  いろいろな手法を取り込みやすい - Cameraの2Dの検出器やLiDARのSemantic Segmentationなど  異なるセンサーをフュージョンする際にキャリブレーション結果はパラメータとして追い出せる
TIER IV mAP CAR AP Pedestrian AP Cyclist AP CenterPoint 60.58 73.56 53.00 38.89 CenterPoint with PointPainting GT 71.13 74.32 59.95 61.90 yolov4 (COCO dataset) 68.11 74.62 57.27 55.99 PointPaintingによるCamera画像の活用 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
TIER IV mAP CAR AP Pedestrian AP Cyclist AP CenterPoint 60.58 73.56 53.00 38.89 CenterPoint with PointPainting GT 71.13 74.32 59.95 61.90 yolov4 (COCO dataset) 68.11 74.62 57.27 55.99 PointPaintingによるCamera画像の活用
TIER IV CenterPointの改善の一部の例  BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい  Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
TIER IV Current Vehicle Coordinates Global Coordinates Past Vehicle Coordinates Multi FrameによるDensification without transformation with transformation moving object static object CenterPointの入力点群に現在フレームからの時間差を特徴量として追加
TIER IV Multi FrameによるDensification Multi Frameをinputすることにより精度向上と同時にoutputとしてDetectionの段階でオブ ジェクトの速度の学習が可能に ※一部オブジェクトの残像は、 開発時の可視化の不具合
TIER IV Method Car AP Pedestrian AP Cyclist AP Inference time CenterPoint 82.94 35.07 32.66 49.7 ms CenterPoint + Densification 84.73 46.30 59.90 64.4 ms CenterPoint + PointPainting 83.71 49.53 62.89 63.3 ms CenterPoint + Densification + PointPainting 85.29 52.79 66.66 85.0 ms Multi FrameによるDensification Environment：Core i7 10700K / GeForce GTX 1060 6G / CUDA 10.2 / cuDNN 7.6.5 / TensorRT 7.0.0 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
Simulator & Test
105 ROSBAG replay Simulator Planning Simulator End2End Simulator Real Test Sensing ◯ ◯ ◯ Localization ◯ ◯ ◯ Perception ◯ ◯（一部） ・Detection（疑似点群生成機能の利用） ・Tracking ・Perception ◯ ◯ Planning ◯ ◯ ◯ Control ◯（一部） ・ステアリング、加減速の遅延、振動を模擬 ◯ ◯ OSS化準備中
CLOSING 03
107 https://www.youtube.com/watch?v=iW-a7cKUxuY Autowareに興味がある方は、インストールからチュートリアルの動作までの動画を作成 したのでこちらをご覧ください 最後に Github: https://github.com/autowarefoundation/autoware Documentation: https://autowarefoundation.github.io/autoware-documentation/main/ Q&A: https://github.com/autowarefoundation/autoware/discussions Issue: https://github.com/autowarefoundation/autoware.universe/issues Discord: https://discord.com/invite/Q94UsPvReQ スターを付けてもらえる と嬉しいです
Ad

Recommended

AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2017 AWS Elastic BeanstalkAWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
Amazon Web Services Japan
 
高精地图数据协议标准探究
高精地图数据协议标准探究高精地图数据协议标准探究
高精地图数据协议标准探究
Weijun Zhong
 
SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII
 
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab（ディープラーニング・ラボ）
 
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII
 
ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例
Yoshitaka HARA
 
ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築
Yoshitaka HARA
 
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
 
SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介
miyanegi
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
 
オープンソース SLAM の分類
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類
Yoshitaka HARA
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
 
Teslaにおけるコンピュータビジョン技術の調査 (2)
Teslaにおけるコンピュータビジョン技術の調査 (2)Teslaにおけるコンピュータビジョン技術の調査 (2)
Teslaにおけるコンピュータビジョン技術の調査 (2)
Kazuyuki Miyazawa
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII
 
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
 
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
Tatsuya Matsushima
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII
 
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
Deep Learning JP
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
 
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせLiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
Takuya Minagawa
 
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier_IV
 
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
NVIDIA Japan
 
Ad

More Related Content

What's hot (20)

SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII
 
ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例
Yoshitaka HARA
 
ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築
Yoshitaka HARA
 
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
 
SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介
miyanegi
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
 
オープンソース SLAM の分類
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類
Yoshitaka HARA
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
 
Teslaにおけるコンピュータビジョン技術の調査 (2)
Teslaにおけるコンピュータビジョン技術の調査 (2)Teslaにおけるコンピュータビジョン技術の調査 (2)
Teslaにおけるコンピュータビジョン技術の調査 (2)
Kazuyuki Miyazawa
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII
 
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
 
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
Tatsuya Matsushima
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII
 
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
Deep Learning JP
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
 
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせLiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
Takuya Minagawa
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII
 
ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例
Yoshitaka HARA
 
ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築
Yoshitaka HARA
 
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
 
SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介
miyanegi
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
 
オープンソース SLAM の分類
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類
Yoshitaka HARA
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
 
Teslaにおけるコンピュータビジョン技術の調査 (2)
Teslaにおけるコンピュータビジョン技術の調査 (2)Teslaにおけるコンピュータビジョン技術の調査 (2)
Teslaにおけるコンピュータビジョン技術の調査 (2)
Kazuyuki Miyazawa
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる３次元理解 〜​
SSII
 
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
 
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
Tatsuya Matsushima
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII
 
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
Deep Learning JP
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
 
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせLiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
Takuya Minagawa
 

Similar to SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜 (20)

Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier_IV
 
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
NVIDIA Japan
 
160705-w01 RTミドルウエア講習会・早稲田大
160705-w01 RTミドルウエア講習会・早稲田大160705-w01 RTミドルウエア講習会・早稲田大
160705-w01 RTミドルウエア講習会・早稲田大
openrtm
 
Japan Robot Week 2016 RTM講習会 第１部
Japan Robot Week 2016 RTM講習会 第１部Japan Robot Week 2016 RTM講習会 第１部
Japan Robot Week 2016 RTM講習会 第１部
Noriaki Ando
 
Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)
openrtm
 
IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～
IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～
IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～
Hideki Takase
 
オープンキャンパススライド2017
オープンキャンパススライド2017オープンキャンパススライド2017
オープンキャンパススライド2017
robo_lab
 
ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方
Mori Ken
 
オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜
オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜
オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜
ThinkIT_impress
 
130522 00
130522 00130522 00
130522 00
openrtm
 
OpenEL for Robot(Japanese)
OpenEL for Robot(Japanese)OpenEL for Robot(Japanese)
OpenEL for Robot(Japanese)
Upwind Technology Inc.
 
AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）
AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）
AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）
Yuki Takahashi
 
2015RTミドルウエア講習会
2015RTミドルウエア講習会2015RTミドルウエア講習会
2015RTミドルウエア講習会
openrtm
 
IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法
IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法
IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法
SORACOM,INC
 
Rtm・ros相互運用プログラミング環境
Rtm・ros相互運用プログラミング環境Rtm・ros相互運用プログラミング環境
Rtm・ros相互運用プログラミング環境
openrtm
 
iREX2015 RTM講習会
iREX2015 RTM講習会iREX2015 RTM講習会
iREX2015 RTM講習会
openrtm
 
ROBOMECH2017 RTM講習会 第1部・その1
ROBOMECH2017 RTM講習会 第1部・その1ROBOMECH2017 RTM講習会 第1部・その1
ROBOMECH2017 RTM講習会 第1部・その1
openrtm
 
アンドロイド勉強会第二回 080525 3
アンドロイド勉強会第二回 080525 3アンドロイド勉強会第二回 080525 3
アンドロイド勉強会第二回 080525 3
shimay
 
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャAWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
真吾 吉田
 
Osc tokyo20141019-last
Osc tokyo20141019-lastOsc tokyo20141019-last
Osc tokyo20141019-last
Kiyoshi Ogawa
 
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier Ⅳ Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -
Tier_IV
 
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
NVIDIA Japan
 
160705-w01 RTミドルウエア講習会・早稲田大
160705-w01 RTミドルウエア講習会・早稲田大160705-w01 RTミドルウエア講習会・早稲田大
160705-w01 RTミドルウエア講習会・早稲田大
openrtm
 
Japan Robot Week 2016 RTM講習会 第１部
Japan Robot Week 2016 RTM講習会 第１部Japan Robot Week 2016 RTM講習会 第１部
Japan Robot Week 2016 RTM講習会 第１部
Noriaki Ando
 
Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)
openrtm
 
IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～
IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～
IoTアプリ／ロボット開発をリアルタイムOSでレベルアップしませんか？ ～高品質な組込み向けオープンソースを開発するTOPPERSプロジェクトのご紹介～
Hideki Takase
 
オープンキャンパススライド2017
オープンキャンパススライド2017オープンキャンパススライド2017
オープンキャンパススライド2017
robo_lab
 
ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方
Mori Ken
 
オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜
オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜
オープンソースのトレンドとビジネス活用2014 〜メリットと安心・安全に活用するポイント〜
ThinkIT_impress
 
130522 00
130522 00130522 00
130522 00
openrtm
 
OpenEL for Robot(Japanese)
OpenEL for Robot(Japanese)OpenEL for Robot(Japanese)
OpenEL for Robot(Japanese)
Upwind Technology Inc.
 
AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）
AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）
AWS IoT、Lambda、Kinesis などマネージドサービス を駆使したIoT開発事例紹介（Trackrr.io）
Yuki Takahashi
 
2015RTミドルウエア講習会
2015RTミドルウエア講習会2015RTミドルウエア講習会
2015RTミドルウエア講習会
openrtm
 
IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法
IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法
IoT 時代における省電力長距離無線通信(LPWA)の選び方と LoRaWAN や Sigfox の活用方法
SORACOM,INC
 
Rtm・ros相互運用プログラミング環境
Rtm・ros相互運用プログラミング環境Rtm・ros相互運用プログラミング環境
Rtm・ros相互運用プログラミング環境
openrtm
 
iREX2015 RTM講習会
iREX2015 RTM講習会iREX2015 RTM講習会
iREX2015 RTM講習会
openrtm
 
ROBOMECH2017 RTM講習会 第1部・その1
ROBOMECH2017 RTM講習会 第1部・その1ROBOMECH2017 RTM講習会 第1部・その1
ROBOMECH2017 RTM講習会 第1部・その1
openrtm
 
アンドロイド勉強会第二回 080525 3
アンドロイド勉強会第二回 080525 3アンドロイド勉強会第二回 080525 3
アンドロイド勉強会第二回 080525 3
shimay
 
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャAWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
真吾 吉田
 
Osc tokyo20141019-last
Osc tokyo20141019-lastOsc tokyo20141019-last
Osc tokyo20141019-last
Kiyoshi Ogawa
 
Ad

More from SSII (20)

SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII
 
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII
 
SSII2022 [OS3-04] Human-in-the-Loop 機械学習
SSII2022 [OS3-04] Human-in-the-Loop 機械学習SSII2022 [OS3-04] Human-in-the-Loop 機械学習
SSII2022 [OS3-04] Human-in-the-Loop 機械学習
SSII
 
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けてSSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII
 
SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII
 
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII
 
SSII2022 [OS2-01] イメージング最前線
SSII2022 [OS2-01] イメージング最前線SSII2022 [OS2-01] イメージング最前線
SSII2022 [OS2-01] イメージング最前線
SSII
 
SSII2022 [OS1-01] AI時代のチームビルディング
SSII2022 [OS1-01] AI時代のチームビルディングSSII2022 [OS1-01] AI時代のチームビルディング
SSII2022 [OS1-01] AI時代のチームビルディング
SSII
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
 
SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）
SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）
SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）
SSII
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII
 
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII
 
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII
 
SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理
SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理
SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理
SSII
 
SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用
SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用
SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用
SSII
 
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
SSII
 
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII
 
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII
 
SSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメント
SSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメントSSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメント
SSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメント
SSII
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII
 
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
SSII
 
SSII2022 [OS3-04] Human-in-the-Loop 機械学習
SSII2022 [OS3-04] Human-in-the-Loop 機械学習SSII2022 [OS3-04] Human-in-the-Loop 機械学習
SSII2022 [OS3-04] Human-in-the-Loop 機械学習
SSII
 
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けてSSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII
 
SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII
 
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII
 
SSII2022 [OS2-01] イメージング最前線
SSII2022 [OS2-01] イメージング最前線SSII2022 [OS2-01] イメージング最前線
SSII2022 [OS2-01] イメージング最前線
SSII
 
SSII2022 [OS1-01] AI時代のチームビルディング
SSII2022 [OS1-01] AI時代のチームビルディングSSII2022 [OS1-01] AI時代のチームビルディング
SSII2022 [OS1-01] AI時代のチームビルディング
SSII
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
 
SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）
SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）
SSII2021 [SS2] Deepfake Generation and Detection – An Overview （ディープフェイクの生成と検出）
SSII
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII
 
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII
 
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
SSII
 
SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理
SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理
SSII2021 [OS3-03] 画像と点群を用いた、森林という広域空間のゾーニングと施業管理
SSII
 
SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用
SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用
SSII2021 [OS3-02] BIM/CIMにおいて安価に点群を取得する目的とその利活用
SSII
 
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
SSII
 
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII
 
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII
 
SSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメント
SSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメントSSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメント
SSII2021 [OS1-03] エネルギーの情報化：需要家主体の分散協調型電力マネージメント
SSII
 
Ad

SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜

  • 2. 本日のチュートリアル構成 • イントロ： 河口 信夫（名古屋大/TIER IV） • 自律移動ロボットとは • ROSとは？ Autoware とは？ • The Autoware Foundation • Autoware.ai から Autoware Core/Universe へ • メイン：斉藤 之寛 （TIER IV） • 自動運転 • Autowareのアーキテクチャ • 自動運転のためのロボットビジョン
  • 3. 自己紹介：河口 信夫（かわぐち のぶお） 名古屋大学 工学研究科 情報・通信工学専攻 教授 （未来社会創造機構モビリティ社会研究所 副所長) TMI (超学際移動イノベーション）卓越大学院 コーディネータ 自動運転ベンチャー (株) ティアフォー フェロー NPO法人位置情報サービス研究機構(Lisra) 代表理事 総務省スマートIoT推進フォーラム テストベッド分科会長 ・研究テーマ：ユビキタス・コンピューティング 代表的な成果： HASC コーパス/ツール • カウントダウン時刻表アプリ「駅.Locky」（300万人が利用） • 需給交換プラットフォーム/社会活動OS Synerex 駅.Locky
  • 7. 自動運転ソフトウェア Autoware Machine Learning/Deep Learning Many-Core CPUs GPUs Embedded OS RTOS and Real-Time Linux ROS CUDA ECU ECU ECU ECU CAN Camera GNSS LIDAR Radar OpenCV PCL Monitoring ADAS Safety Control Control Control Control Perception Planning Control Autonomous Driving System Vehicular System Driver Interface Car Driver Distributed Data Proceesing Large-scale DBMS In-memory DBMS Pedestrian FPGAs Statistical Analysis https://github.com/autowarefoundation/autoware 2015年に名古屋大が公開 ※AutowareはThe Autoware Foundationの登録商標です
  • 8. (Robot Operating System)とは？ • ロボット向けに多様なセンサ・モジュール・アクチュエータを 統合的に扱えるフレームワーク • ロボット開発におけるツール・ライブラリを提供 • 可視化・シミュレーション・記録・通信 Willow Garage が2007年から開発 （ちなみに、OpenCVの開発にも2008年に参加） • 2009年に最初のROSが公開（0.4） • 2010年にROS1.0 • 2012年に、OSRF が設立 2013年からは開発を主導 （現在では Open Robotics に） • 2017年からは ROS2 もリリース
  • 9. の特長 • ノード(モジュール)の集合としてシステムを構築 • ノード間は「トピック」と呼ばれるチャンネルを通じて通信 • 複数PC間でも通信可能 • Publish/Subscribe 形式での通信 (送受信の分離） • 多数のパッケージが公開 • ナビゲーション、ロボットハンド • ハードウェアドライバ • ライブラリ（PCL, OpenCV） • 連携ツール
  • 11. ROS1からROS2へ • ROS１は、研究開発を主なターゲット • 品質保証の枠組みが無く、障害に弱い • ターゲットOSが実質的に Ubuntu のみ • 開発プロセスなどの定義もなし • 独自の通信プロトコル • リアルタイム性などを保障し「プロダクト」として 利用できるソフトウェアが必要 → ROS2では、これらの課題を解決 ・開発プロセスを定め、品質を保証 ・CIのダッシュボードなどを整備 ・標準化された通信プロトコルを導入（OMG標準 DDS）
  • 13. ● Master が単一障害点 ● すべてのノードが１つのプロセス ● プロセス間でリソースは共有不可能 ● 「Nodelet」という仕組みはあるが。。。 ○ 別API（実装時間で選択） ○ 壊れやすい ○ 共有ポインター通信のみ ○ QoSなし ● 実行管理/起動順管理が困難 ○ 実行順序を変えるためには再起動 ROS 1:特徴 Master アプリケーション プロセス ノード プロセス ノード プロセス ノード
  • 14. ● Masterなしで、DDSで通信（相互に Discovery） ● 複数ノードを同一のプロセスに統合可能 ○ 全てのノードを一つのプロセスに統合することも可能 ○ 複数のプロセスを利用することも可能 （ノード数＞プロセス数） ● コンパイルまたはランタイムで確定可能 ● 同一プロセスのため下記のメリット ○ ゼロコピー通信が可能 ○ 実行順番が指定可能 ○ 平行または連続実行可能 ○ 振る舞いと実行を分離 ○ ライフサイクル管理 ROS 2:特徴 アプリケーション プロセス ノード プロセス ノード ノード UDP上のDDSまたは 共有メモリ上のDDS ゼロコピー通信
  • 15. The Autoware Foundation 2018年12月設立 Autoware の国際展開が目的 国際的企業がプレミアムメンバーとして参画 Autoware.ai → これまでのAutoware (ROS1 ベース) Autoware.IO → センサ＋ライブラリ Autoware Core/Universe → 次世代 Autowave (ROS2ベース) Autowareに関する権利を移管
  • 16. Autowareも ROS2 へ移行 Autoware.ai : ROS1 ベース ・プロトタイプ実装 ・プロダクトには向いていない（認証なし） Autoware Core : ROS2ベース ・製品開発に活用可能 Autoware Universe : ROS2ベース ・Core を包含し、研究開発に利用 ROS1 は 2025には EOL を予定
  • 17. Autoware Core / Universe • AWF が主にメンテする範囲と、 それ以外の領域を明確化 • Core: • AWF が考慮する ODD に対応 • ドキュメントも完全に • Universe: • Core の上に拡張される機能 • この上で研究開発を行い機能追加 • Robo-Taxi や レースなど 複雑なユースケースに対応
  • 18. Autowareが実現したこと • 自動運転は社会に大きなインパクトを与える • 単なる技術ではなく、革命的な変化 • 産業的にも影響範囲が大きい • オープンソース化により世界中で利用可能 • 自動車産業以外でも、自動運転に注目 → 何ができるのか、検証のために利用 • 最新技術がすぐに導入できる • 得意な部分だけをやれば、他は借りてこられる • 多様な形態で自動運転が可能 • 乗用車からゴルフカート、小型自動配送ロボットまで 技術的優位性だけでなく、オープン性を武器に 自動運転の民主化！
  • 20. 名古屋大学でのAutowareの活用 • 当初は自動運転の実装を目的としてきたが、 ベンチャー設立(TIER IV)で開発中心は移行 • より幅広い応用に向けて、自律移動ロボットに移行 (道路を走る自動車より、様々な考慮が必要） • 自律移動ロボットは、自動車と比較して、 速度は遅く、体積・重量が小さいので実験には使いやすい • 倉庫分野での Autoware 応用を実施
  • 21. TIER IV LogieeS-TC について • Autowareで遠隔・自動走行が可能（自己位置推定） • サイズ: 694x1100x613mm • 650mmx450mm 程度の20kg 程度の荷物を搭載可能(補強すれば100kg以上も可 能） • 150kg 程度はけん引も可能（ただし、けん引の仕組みは要検討） • 駆動方式：対向2輪型駆動（2輪独立駆動） • 車輪サイズ：16inch • 移動速度： 6km程度 • 最大移動距離：16-24 km程度 Autowareによる自動制御の例
  • 25. 25
  • 28. 固定LiDAR＋カメラとの連携 LiDAR : Robosense LiDAR-M1 :75万点／秒 FOV: ±12.5度 (自動運転用を固定設置で利用） カメラ : 4K解像度
  • 33. TIER IV Speaker Saito Yukihiro 前職ではソニー株式会社の研究開発本部に所属し、自律移動ロボテ ィクスシステムのソフトウェア開発に従事。 現在はTIER IVにて、自動運転OSS「Autoware」における全体アー キテクチャ設計および認識モジュールの開発を担当
  • 34. TIER IV CONTENTS 01 / INTRODUCTION • 自動運転の意義とは • 自動運転がもたらす世界 • 自動運転の歴史 02 / TECHNOLOGY • Autowareから見た世界 • Autowareのアーキテクチャー • Vehicle & Sensors • Sensing & Localization • Perception: Traffic Light Recognition • Planning : Lane Driving • Control • Perception: Detection • Simulation & Tests 03 / CLOSING
  • 37. TIER IV 自動運転の歴史 37 2004 2009 2014 2018 2015 DARPA Grand Challenge Google (Waymo) 自動運転プロジェクト開始 Autoware 研究開発開始 The Autoware Foundation 設立 Autowareリリース TIER IV設立 2007 DARPA Urban Challenge 1920~1980 磁気マーカーを使った自動運転 https://www.youtube.com/watch?v=ntIczNQKfjQ&feature=youtu.be https://www.youtube.com/watch?v=cdgQpa1pUUE https://ja.wikipedia.org/wiki/DARPA%E3%82%B0%E3%83%A9%E3%83%B3%E3%83%89%E3%83%BB%E3%83%81%E3%83%A3%E3%83%AC%E3%83%B3%E3%82%B8 https://www.herox.com/blog/159-the-drive-for-autonomous-vehicles-the-darpa-grand 1980~ カメラ・レーザーレンジセンサーを用 いた自動運転の研究 Autoware開発推進の業界団体 世界中の約50社が加入 Autoware : 自動運転システム用オープンソースソフトウェア
  • 38. TIER IV What is Autoware? The world’s first open-source autonomous driving software 30+ 20+ 500+ Vehicles Countries Companies
  • 47. 52
  • 49. TIER IV Dynamic Object Traffic Light Detection Classifier Mission Scenario Selector Control Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Vehicle
  • 50. TIER IV Dynamic Object Mission Scenario Selector Control Map Data Vehicle Interface Parking Etc. Scenario Planning Perception Tracking Prediction Sensors Vehicle Localization Sensing Lane Driving Traffic Light Detection Classifier Control Detection 最後にお話しします
  • 52. TIER IV Dynamic Object Mission Scenario Selector Control Map Data Vehicle Interface Parking Etc. Scenario Planning Perception Detection Tracking Prediction Sensors Vehicle Localization Sensing Lane Driving Traffic Light Detection Classifier
  • 53. センサー構成図 Velodyne VLS-128 Alpha Prime (LiDAR / 360° Detection) Velodyne VLP-16 (LiDAR / Side/Rear Detection) Livox Horizon (LiDAR / Long-range Detection) FLIR BlackflyS w/ JetsonAGX (Camera / Object Recognition) Leopard Imaging w/ FlickerMitigation (Camera / Traffic Light Recognition) u-blox F9P (GNSS / Localization) TamagawaSeiki TAG300N (IMU/ Localization) Livox Horizon Livox Horizon Leopard Imaging 38 deg + 65 deg FLIR BlackflyS 70 deg x 6
  • 54. LiDAR Velodyne (VLS-128, HDL-64E, VLS-32C, HDL-32E, VLP-16), Hesai (Pandar 20P, Pander 40P, Pandar 64), Ouster (OS-16, OS-64), Robosense (RS-32), Leishen, Innoviz, Omron
  • 56. Camera-LiDAR LiDAR-LiDAR センサー同期 複数LiDARによる干渉 回転タイミングの同期 Camera x6 + LiDARによる360度センシング LiDARの回転タイミングに 合わせてカメラのシャッターを切る
  • 58. TIER IV NDT Scan Matching PCD高精度地図 LiDARセンサーデータ
  • 59. TIER IV Sensing & Localization Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction
  • 60. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・点群歪み補正 LiDARの点群1つ1つに観測時刻を埋め込み、 IMUを用いて車両移動による観測の歪みを補正 歪み補正なし 歪み補正あり NDT EKF NDT EKF Sensing & Localization
  • 61. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・Pose / Twist インターフェース 研究開発が盛んに行われている他モジュールとの 結合を容易に行えるように、位置と速度情報を 分離して推定し、後段で処理を統合 Sensing & Localization
  • 62. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・EKF - NDT Feedback さまざまなセンサーを統合した推定結果を初期位置と して利用し、マッチング精度を上げる NDTが苦手な環境でも継続的に動作可能 ・遅延対応 各センサー間（車両・LiDAR・Autoware）で 時刻同期を行い、計測された遅延を考慮して 現在位置と速度を推定 Sensing & Localization
  • 63. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction Sensing & Localization
  • 64. Perception : Traffic Light Recognition
  • 65. TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map or ・自車経路に関係する信号機のみを検出・識別 ・高精度マップ上の信号機との対応付 Traffic Light Recognition Image
  • 66. TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map or 推定誤差によるずれを考慮した候補領域を生成 ※ 自己位置推定誤差、キャリブ誤差、バイブレーション Traffic Light Recognition Image
  • 67. TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map Image or 画像処理 フィルタ color filter binalize noise filter 入力 画像 青 フィルタ 黄 フィルタ 赤 フィルタ red CNN red 入力 画像 環境・カメラに対して調節がしやすい 矢印等の色識別以外に対して拡張しやすい Traffic Light Recognition
  • 68. Planning : Lane Driving
  • 69. TIER IV - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Trajectory Behavior Planner：意思決定・交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 Path Planning : Lane Driving Route To Control
  • 70. TIER IV - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Trajectory Path Route To Control Planning : Lane Driving ・レーンチェンジ 駐車車両やルート指示に応じてレーンチェンジを行う 周囲の車両速度を見てレーンチェンジの実行可否を判断 Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画
  • 71. TIER IV ・横断歩道 横断歩道上の歩行者や、横断歩道に向かって走ってくる 自転車等の移動予測から経路速度を調整 ・交差点 交差点周囲の動物体の移動予測情報や、 前方の渋滞車両検知結果などから、交差点における速度を調整 Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner Trajectory Path To Control - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Route
  • 72. TIER IV Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner From Mission Planner Trajectory Path Route To Control ・障害物回避 / 経路平滑化 / 狭路走行 最適化手法を用いて路駐車両や工事現場領域の回避経路を生成 車両形状と走行可能領域を考慮した狭路の走行経路も対応 Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing
  • 73. TIER IV Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner From Mission Planner Trajectory Path Route To Control Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 ・速度平滑化 横G・最大速度・加速度制約の下でジャーク（加速度の微分） が最小になるように経路速度を計画 - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing
  • 75. TIER IV Control Control Command - Steering angle - Steering angle rate - Velocity - Acceleration ・Lateral Controller：経路追従のための操舵角を計算（pure pursuit / MPC） ・Longitudinal Controller：目標速度へ追従するための加速度を計算（PID） ・Vehicle Cmd Gate：最大速度・加速度・ジャーク制約 ・Accel Map Converter：目標加速度をアクセル・ブレーキペダル値へ変換 Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory Longitudinal Controller Vehicle Interface To Vehicle Control Command
  • 76. TIER IV Control 制御指示の応答遅延 0.3 [s] x 17 [m/s] = 5.1 [m] 路面環境に依存した 摩擦係数の変化 雨・雪など 温度変化や経年劣化による ディスクブレーキ挙動の変化 スロットルと加速度の 非線形性 ステアリング機構の摩擦・不感帯 経路勾配 センサー性能の限界 （ジャーク計算） 乗車人数に応じた質量の変化 ハンドル - タイヤ 可変ギア比 タイヤ弾性・空気圧
  • 77. TIER IV Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory ・Lateral Controller 経路追従のための操舵角を計算 Control Longitudinal Controller Vehicle Interface To Vehicle Control Command Control Command - Steering angle - Steering angle rate - Velocity - Acceleration - pure pursuit 経路の前方に目標点を設定し、そこへ向かうように 目標操舵角を計算。人の操縦感覚に近い - Model Predictive Control (MPC) 車両データ*を用いて将来の動作を予測し、最も上手く 経路に沿う操舵角を計算。厳密な制御が可能 * 操舵遅延、操舵変化率制約、 横滑りなど
  • 78. TIER IV Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory Control Longitudinal Controller Vehicle Interface To Vehicle Control Command Control Command - Steering angle - Steering angle rate - Velocity - Acceleration ・Longitudinal Controller 目標速度へ沿うための目標加速度を計算（PID） 加減速指示の遅延や勾配補正も対応 停車時は特殊シーケンスで正着精度と乗り心地を両立 ・加速度マップ 目標加速度を車両のアクセル・ブレーキ値に変換
  • 79. Perception : Detection 01 / 自動運転におけるDetection 02 / 実環境での難しさ 03 / Detectionの性能向上
  • 80. TIER IV 自動運転におけるDetection  Cameraベース - CenterNet, SMOKE, etc.  LiDARベース - PointPillars, CenterPoint, etc.  Camera-LiDARベース - Frustum PointNet, etc. 2D Box detection 3D Box detection  Cameraベース - Yolo系, SSD系, etc. 空間情報がわかる3Dの方が多くの自 動運転システムと相性が良い 画像上での位置はわかるが空 間情報がない
  • 81. TIER IV 自動運転におけるDetection  Cameraベース - CenterNet, SMOKE, etc.  LiDARベース - PointPillars, CenterPoint, etc.  Camera-LiDARベース - Frustum PointNet, etc. ○ センサーが安価 ✖ カメラの内部パラメータまで学習されるため他データセットで転用しにくい ✖ 数十mまでしか距離推定精度がでない(解像度依存) ✖ 360度認識するには複数台必要になり計算コストが大きい ○ 360度認識する計算コストが低い ○ 100m以上まで距離推定精度が安定する ✖ 他データセットで学習したものでは実環境で精度を出しにくい ✖ センサーが高価 ※LiDARベースのPros/Consを引き継ぐ ○ 形状的な特徴が少ないものでも検出が安定 ✖ 手法によってはCamera-LiDARの外部パラメータを学習するため、他データ セットで転用しにくい ✖ 計算コストが大きい
  • 82. TIER IV 自動運転におけるDetection  Cameraベース - CenterNet, SMOKE, etc.  LiDARベース - PointPillars, CenterPoint, etc.  Camera-LiDARベース - Frustum PointNet, etc. ○ センサーが安価 ✖ カメラの内部パラメータまで学習されるため他データセットで転用しにくい ✖ 数十mまでしか距離推定精度がでない(解像度依存) ✖ 360度認識するには複数台必要になり計算コストが大きい ○ 360度認識する計算コストが低い ○ 100m以上まで距離推定精度が安定する ✖ 他データセットで学習したものでは実環境で精度を出しにくい ✖ センサーが高価 ※LiDARベースのPros/Consを引き継ぐ ○ 形状的な特徴が少ないものでも検出が安定 ✖ 手法によってはCamera-LiDARの外部パラメータを学習するため、他データ セットで転用しにくい ✖ 計算コストが大きい
  • 83. TIER IV Autowareで現在実装されているDetectionの構成例 CenterPoint Instance Segmentation Merger 2D BB Fusion YOLO Validator Clustering Shape Estimation Detection By Tracker Multi Object Tracking Detection Layer Tracking Layer
  • 84. TIER IV PointRCNN [1] PointPillars SECOND VoxelNet STD [2] 3DSSD [3] SA-SSD PV-RCNN LiDAR-based 3D Detection VoxelNet-based approaches PointNet-based approaches [1] Shi, Shaoshuai, Xiaogang Wang, and Hongsheng Li. "Pointrcnn: 3d object proposal generation and detection from point cloud." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. [2] Yang, Zetong, et al. "Std: Sparse-to-dense 3d object detector for point cloud." Proceedings of the IEEE International Conference on Computer Vision. 2019. [3] Yang, Zetong, et al. "3dssd: Point-based 3d single stage object detector." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. CenterPoint 計算コストと精度を両立
  • 85. TIER IV CenterPoint Yin, Tianwei, Xingyi Zhou, and Philipp Krähenbühl. "Center-based 3d object detection and tracking." arXiv preprint arXiv:2006.11275 (2020). Ge, Runzhou, et al. "Afdet: Anchor free one stage 3d object detection." arXiv preprint arXiv:2006.12671 (2020). 点群をBEVの特徴量画像に変換 物体の中心を当てに行き、大きさ姿勢も同時に出力 Lang, Alex H., et al. "Pointpillars: Fast encoders for object detection from point clouds." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.
  • 86. TIER IV Train: Waymo Inference: Waymo オープンデータセット  nuScenes  Waymo Open Dataset  Kitti Dataset  A2D2  Lyft Level 5 Dataset  Etc. Train: nuScenes Inference: TIER IV 実環境での応用の難しさ 学習とは異なるデータセットで推論した場合、 精度が大幅に低下 要因 - センサ構成/取付位置 - センサモデル - 走行環境
  • 87. TIER IV Data Augmentationによる汎化性能向上 Train: nuScenes without DA Inference: TIER IV Train: nuScenes with DA Inference: TIER IV Data Augmentation  X軸・Y軸反転  スケーリング - 原点中心・Z軸方向  回転 - Z軸・X軸・Y軸方向  平行移動 - z方向  点群のダウンサンプル  点群のノイズ - 疑似的な雨や霧  物体のコピー&ペースト
  • 88. TIER IV 実環境で精度を出すためのその他の手段  Domain Adaptationの活用  Synthetic Dataの活用  自前データセットの作成 研究段階で実応用はこれから - 例： ST3D++(Unsupervised Domain Adaptation) Train: Waymo Evaluation: KITTI CAR AP(0.7) easy medium hard Without Domain Adaptation 12.50 12.85 13.87 With Domain Adaptation 70.85 63.49 64.52 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
  • 89. TIER IV CenterPointの改善の一部の例  BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい  Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
  • 90. TIER IV CenterPointの改善の一部の例  BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい  Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
  • 91. TIER IV PointPainting off-the-shelf off-the-shelf with camera calibration params Vora, Sourabh, et al. "Pointpainting: Sequential fusion for 3d object detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. 97 利点  いろいろな手法を取り込みやすい - Cameraの2Dの検出器やLiDARのSemantic Segmentationなど  異なるセンサーをフュージョンする際にキャリブレーション結果はパラメータとして追い出せる
  • 92. TIER IV mAP CAR AP Pedestrian AP Cyclist AP CenterPoint 60.58 73.56 53.00 38.89 CenterPoint with PointPainting GT 71.13 74.32 59.95 61.90 yolov4 (COCO dataset) 68.11 74.62 57.27 55.99 PointPaintingによるCamera画像の活用 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
  • 93. TIER IV mAP CAR AP Pedestrian AP Cyclist AP CenterPoint 60.58 73.56 53.00 38.89 CenterPoint with PointPainting GT 71.13 74.32 59.95 61.90 yolov4 (COCO dataset) 68.11 74.62 57.27 55.99 PointPaintingによるCamera画像の活用
  • 94. TIER IV CenterPointの改善の一部の例  BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい  Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
  • 95. TIER IV Current Vehicle Coordinates Global Coordinates Past Vehicle Coordinates Multi FrameによるDensification without transformation with transformation moving object static object CenterPointの入力点群に現在フレームからの時間差を特徴量として追加
  • 96. TIER IV Multi FrameによるDensification Multi Frameをinputすることにより精度向上と同時にoutputとしてDetectionの段階でオブ ジェクトの速度の学習が可能に ※一部オブジェクトの残像は、 開発時の可視化の不具合
  • 97. TIER IV Method Car AP Pedestrian AP Cyclist AP Inference time CenterPoint 82.94 35.07 32.66 49.7 ms CenterPoint + Densification 84.73 46.30 59.90 64.4 ms CenterPoint + PointPainting 83.71 49.53 62.89 63.3 ms CenterPoint + Densification + PointPainting 85.29 52.79 66.66 85.0 ms Multi FrameによるDensification Environment：Core i7 10700K / GeForce GTX 1060 6G / CUDA 10.2 / cuDNN 7.6.5 / TensorRT 7.0.0 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
  • 99. 105 ROSBAG replay Simulator Planning Simulator End2End Simulator Real Test Sensing ◯ ◯ ◯ Localization ◯ ◯ ◯ Perception ◯ ◯（一部） ・Detection（疑似点群生成機能の利用） ・Tracking ・Perception ◯ ◯ Planning ◯ ◯ ◯ Control ◯（一部） ・ステアリング、加減速の遅延、振動を模擬 ◯ ◯ OSS化準備中
  • 101. 107 https://www.youtube.com/watch?v=iW-a7cKUxuY Autowareに興味がある方は、インストールからチュートリアルの動作までの動画を作成 したのでこちらをご覧ください 最後に Github: https://github.com/autowarefoundation/autoware Documentation: https://autowarefoundation.github.io/autoware-documentation/main/ Q&A: https://github.com/autowarefoundation/autoware/discussions Issue: https://github.com/autowarefoundation/autoware.universe/issues Discord: https://discord.com/invite/Q94UsPvReQ スターを付けてもらえる と嬉しいです