视觉SLAM十四讲学习5 位姿估计（7）光流法，光流跟踪

前言

本篇继续位姿估计，光流法，光流跟踪。

LK光流

基于特征点的位姿估计中，特征匹配是比较耗时的过程。因此，光流法常被用来替换特征匹配法，来加速特征点的跟踪。

假设相机的相邻位姿之间，空间点的亮度（像素灰度值）是不变的，则：
$$I(x+dx,y+dy,t+dt)=I(x,y,t)$$
上面这个式子表示，空间点在$dt$的时间内，在图像上移动了$(dx,dy)$的像素距离。接着泰勒展开：
I ( x , y , t ) + I x d x + I y d y + I t d t = I ( x , y , t ) s e t I x = ∂ I ∂ x , I y = ∂ I ∂ y t h e n I x d x + I y d y + I t d t = 0 s o I x d x d t + I y d y d t = − I t [ I x I y ] [ d x d t d y d t ] = − I t I(x,y,t)+I_xdx+I_ydy+I_tdt=I(x,y,t) \\ \quad \\ set \quad I_x = \frac{\partial I}{\partial x},I_y=\frac{\partial I}{\partial y} \\ \quad \\ then \quad I_xdx+I_ydy+I_tdt=0 \\ \quad \\ so \quad I_x\frac{dx}{dt} + I_y\frac{dy}{dt} = -I_t \\ \quad \\ \begin{bmatrix} I_x & I_y \end{bmatrix} \begin{bmatrix} \frac{dx}{dt} \\ \frac{dy}{dt} \end{bmatrix} = - I_t I(x,y,t)+Ix​dx+Iy​dy+It​dt=I(x,y,t)setI