[发明专利]一种利用IMU增强的事件相机光流估计方法及系统

权利要求书

1.一种利用IMU增强的事件相机光流估计方法，其特征在于：首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合亮度恒定假设，建立基础光流模型，所述EDI表示基于事件的二重积分；然后将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计；当出现混合运动场景时将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流，最后组合得到场景的整体连续光流；

当出现混合运动场景时，处理方式包括以下步骤，

步骤3.1，通过鲁棒性主成分分析法Robust PCA，将图像矩阵表示为背景矩阵L和前景稀疏矩阵S，得到凸优化问题：

其中，||.||_*表示矩阵的核范数，||.||₁表示矩阵的l₁范数，λ₂为正则化参数，用来调节稀疏矩阵的权重；

步骤3.2，将前景光流v_f加入稀疏项约束，而背景光流v_b加入IMU约束，得到光流：

v＝v_b+v_f

参考运动一致场景，得到加入前景光流稀疏项约束的代价函数，

其中，λ₁表示IMU约束的权重系数；设事件点e_j的原始像素坐标表示为x_j，运动补偿后的像素坐标表示为x_j′，已知原始像素坐标x_j和时间间隔Δt，变量

步骤3.3，得到优化问题min_vf(v_f，v_b)，采用交替迭代更新的方法，联合估计背景和前景的光流；

步骤3.4，交替迭代更新至迭代收敛后，将前景光流和背景光流相加，得到混合运动场景下的连续光流。

2.根据权利要求1所述利用IMU增强的事件相机光流估计方法，其特征在于：建立基础光流模型的实现方式包括以下步骤，

步骤1.1，将在曝光时间T内生成的第i帧模糊亮度图像表示为y[i]，使用EDI模型，用亮度图像生成时间段内的事件点补偿模糊亮度图像，计算出任意时刻f的清晰亮度图像I(f)：

其中，E_i(f)表示第i帧模糊亮度图像的生成时间T内产生事件点的二重积分；

步骤1.2，基于亮度恒定假设的光流公式，得到光流计算的表达式如下，

其中，δ是狄拉克函数，v为待求光流，表示求空间梯度，c是相机激发事件点的阈值，p为相机激发事件点的极性，t_e为相机激发事件点的时刻；

简化表示为，

A·v＝b+ε₁

其中，变量ε₁表示EDI模型估计光流的误差项。