论文精读:Asynchronous, Photometric Feature Tracking using Events and Frames(IJCV 2019)

本文介绍了一种结合传统帧和事件数据的特征跟踪方法,首次将两者用于跟踪器。该方法通过亮度增量图像处理事件和帧数据,优化框架以最小化误差并估计物体运动参数。实验表明,该方法在仿真和真实数据上表现出优秀的跟踪性能,特别是在高对比度环境和自然场景中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

这篇文章的方法是利用传统的frame对图像做初始化,然后在event上面进行跟踪。
论文地址:Asynchronous, Photometric Feature Tracking using Events and Frames
发现还有人把作者附的视频上传到了B站
论文video

背景

  • 事件相机不输出绝对强度图像,而是输出异步事件流,优点是延迟非常低(1微秒)
  • 传统相机提供像素直接测量,但延迟较高(10-20毫秒)

主要贡献

  • 第一个将frame和event结合的特征跟踪器
  • 实现了SOTA
  • 做了在大对比度的人造环境和自然场景中的性能评估

概念及算法理论

1.数据关联中的挑战

作者首先分析了frame数据和event数据进行关联面临的问题。
在这里插入图片描述
可以看到,对于同一张frame图像,沿着不同的方向运动(或者让相机运动),产生的evnet数据是不一样的,如果没有原始的这张frame图像,我们很难将图中的(b)、(c)、(d)关联起来。

2.从event和frame中生成亮度增量图像

将event在一个时间段中积累起来,得到亮度增量图像:
在这里插入图片描述
对于一个很短的时间 △ t △ t t,亮度增量是由于移动引起的:
在这里插入图片描述
这个里面的 ∇ L ( u ) \nabla L\left( u \right) L(u)表示frame图像的梯度(可以理解为canny边缘算子这种),v(u)表示物体的运动。
在这里插入图片描述
上面的两个公式其实是分别用frame和event数据生成亮度增量图的过程。

3.优化框架

有了上面两个公式,应该就能想到文章要做什么了,就是将这两个公式的误差最小化,从而得到最终地物体的运动参数v(u)。具体地说,event数据已经有了,frame是 △ t △ t t时间之前的数据,那么从t到t+ △ t △ t t这个时间段的运动就可以反求出来了。算法的整体流程如下:
在这里插入图片描述
图中的W就是要求解的wrap,它包含两个参数:p:配准参数和v:光流(这里假设每个小patch上的所有像素光流恒定),这里只考虑刚体运动。
在这里插入图片描述
假设误差遵循高斯分布,那么误差的极大似然函数为:
在这里插入图片描述
然后就是利用最大似然的求解。

实验

1.仿真数据上的跟踪

在这里插入图片描述
在这里插入图片描述
feature age是作者定义的一个量,表示初始化和处理之间的时间。

2.真实数据上的跟踪

在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值