[发明专利]基于事件对比度最大化的双目视觉里程计方法

权利要求书

1.基于事件对比度最大化的双目视觉里程计方法，其特征在于，包括：

S1：对来自标准相机的图片进行预处理，建立事件对比度最大化的双目视觉里程计模型；

S2：对来自事件相机的事件流和图片进行时间戳上的同步，根据事件的对应周期选择时空窗口；

S3：对每一个时空窗口中的事件进行对比度最大化，并求模板对应事件之间的光流；

S4：利用IMU数据和计算出的光流去校正和更新模板边的位置；

S5：利用Beta-Gaussian的滤波器对模板边的深度进行估计，并得到3D空间中的模板边的位置；

S6：通过ICP位姿求解算法去估计事件相机的运动轨迹。

2.根据权利要求1所述的基于事件对比度最大化的双目视觉里程计方法，其特征在于，所述步骤S2具体如下：

假设在时间t₀处从图像帧中检测到特征点x，则特征点的运动可以描述为：

公式(1)中，为表示特征点x在时间s的速度；从事件流中选取一组事件，选取特征点x的时间作为初始时间t₀对应的时空窗口；

公式(2)中，W为时空窗内的事件集；e_i表示时空窗口中的第i个事件；表示事件发生的时间；n表示事件的数量；由于[t₀，t₁]是第一个子时间间隔，可以通过设置时空窗口的大小来计算t₁的值；

为了实现特征点跟踪方法的异步性，子时间间隔的大小由该方法在实时运行时确定，具体计算过程如下：

得到本次迭代中所有特征点的光流后，通过光流计算下一个子时间间隔的大小；定义x_i来表示第i个特征点i＝{1，…，m}，特征点的个数为m；是在第n个子时间间隔[t_n-1，t_n]内特征点x_i的光流；给定子时间间隔[t_n-1，t_n]内所有特征点的光流可以计算出下一个子时间间隔[t_n，t_n+1]；

在公式(3)中，数字3的单位是像素；表示子时间间隔[t_n-1，t_n]内所有特征点的平均光流；通过公式(3)计算出t_n+1，将上一个时间间隔内的特征点平均移动3个像素所需的时间作为当前间隔的估计值。

3.根据权利要求2所述的基于事件对比度最大化的双目视觉里程计方法，其特征在于，所述步骤S3具体如下：

通过对应特征点确定时空窗口后，使用对比度最大化算法将特征点x周围的事件集W与模板点集进行匹配；假设所有模板点与特征点x具有相同的光流，区域内所有像素的光流θ相同，并且特征点的光流在子时间间隔[t₀，t₁]内是恒定的；将时间间隔[t₀，t₁]内特征点x的光流定义为v；对于W中的事件e_i；使用扭曲事件的图像(IWE)计算其在时间t₀的位置X’_k，公式如下：

公式(5)中，X’_kj是第k个事件沿第j组光流扭曲后的位置；N_e表示事件的个数；δ表示狄拉克函数；P_kj表示第k个事件属于第j组光流的概率；I_j(x)表示光流对应的IWE；

事件通过图像对比度对齐，图像的对比度由锐度比色散度量定义，比如方差

Var(I_j)＝∫_Ω(I_j(x)-μ_j)²dx (6)

公式(6)中，Ω是图像平面；μ_j是扭曲事件图像的平均值；

公式(7)中，μ表示步长；N_l表示簇数；θ为对应时空窗口中的光流。