[发明专利]一种基于事件相机的端到端无监督光流估计方法

权利要求书

1.一种基于事件相机的端到端无监督光流估计方法，其特征在于，所述方法包括以下步骤：

步骤1，获取事件相机光流估计数据集MVSEC，从数据集主页下载ROS bag原始数据集包，从中获取事件流数据以及灰度帧数据，单个事件包含坐标(x，y)，时间戳t_e以及事件极性p，灰度图含时间戳t_i以及图像的高H_i和宽W_i；

步骤2，数据集预处理：滤除第一帧灰度图之前的数据，将I_ti至I_ti+6之间的事件数据作为一个样本，这里的t_i是指灰度帧对应的时间，而获取的样本事件的时间戳换算为正常的以秒计的时间，为了增强数据，第二个样本则取为I_t+1至I_t+7，以此类推；

步骤3，将(x，y)作为二维平面上的坐标，时间t则作为通道，并且舍弃极性信息，即将样本大小为He×We×Te×2，最终表示为He×We×Te，每个像素点的值为t，没有事件产生的像素点值为0；

步骤4，对时间进行归一化，对像素点(x_k，y_k)每个通道上的值进行归一化操作，计算公式如下：

t_k’＝round(255*(t_k-t_min))/Δt)；

其中Δt＝t_max-t_min，归一化操作将四维原始数据转换为神经网络易于处理的三维数据；

步骤5，将上述单个样本的三维数据按时间划分为B个子序列{B1,B2,B3,…}，子序列维度为He×We×(Te/B),将每个子序列中的各个不同的时间节点作为一个ConvLSTM读入数据的时间点，读入的数据维度则为He×We×1×tmax，tmax为该序列所对应的像素点的最大时间长度，即tmax＝max(length(P_i))，i＝0，1，2，…，He*We；

步骤6，上述格式的样本数据送入ConvLSTM单元，每个子序列用卷积长短时记忆单元(ConvLSTM)单独处理，在每个子序列参与卷积之前对ConvLSTM进行初始化，处理完以后的维度为H×W×C，B个子序列同时处理完以后，再用ConvLSTM单元对这些子序列结果进行处理，最终得到维度为H×W×C的事件表示(即，原始数据的特征图)；

步骤7，将维度为H×W×C的事件表示输入到光流预测网络中，将平滑度损失和光度误差损失应用于每个中间以及最后的光流估计输出，最终得到从事件流中预测的光流量。

2.根据权利要求1所述的基于事件相机的端到端无监督光流估计方法，其特征在于，所述事件相机数据集指由DAVIS采集的“多车辆立体事件摄像机数据集”即“Multi VehicleStereo Event Camera Dataset”，事件相机数据集中包括灰度帧、事件流、IMU数据和雷达数据；DAVIS指动态和主动式像素传感器。

3.根据权利要求2所述的基于事件相机的端到端无监督光流估计方法，其特征在于，步骤5中的B可以改变大小，训练并测试不同B值的模型，以找到最佳B值。

4.根据权利要求3所述的基于事件相机的端到端无监督光流估计方法，其特征在于，步骤6的卷积长短时单元中，在ConvLSTM初始的输入门、遗忘门和输出门之前加入一个额外的瓶颈门，以减少内部的特征图的通道。

5.根据权利要求3或4所述的基于事件相机的端到端无监督光流估计方法，其特征在于，步骤6中的通道C为1，类似于CNNs的输入为灰度图。此外，还可以将C设置为3，通过ConvLSTM得到H×W×1的事件表示，作为三通道表示的其中一个通道，另外两个通道分别对正负事件数进行计数，这样就不会舍弃极性信息。

6.根据权利要求3或4所述的基于事件相机的端到端无监督光流估计方法，其特征在于，所述步骤1中，该数据集由左右两个DAVIS获取，其中包括事件数据、灰度帧、IMU数据和雷达点云数据。

7.根据权利要求3或4所述的基于事件相机的端到端无监督光流估计方法，其特征在于，所述步骤7中，对于光流估计网络，采用类似于编码器-解码器网络的结构，输入事件数据通过四个卷积层，输出通道每次都加倍，产生的激活信号经过2个残差模块，然后经过四个上采样卷积层，在其中使用最近邻重采样对激活值进行上采样，然后进行卷积，以获得最终的光流估计值，在每个上采样卷积层上，还有来自对应的跨步卷积层以及另一个卷积层的跳过连接，以产生一个中间的较低分辨率的光流估计，该估计与上采样卷积的激活相联系，然后，通过对灰度图像进行下采样，将平滑度损失和光度误差损失应用于每个中间以及最后的光流估计输出，tanh函数用作所有光流估计的激活函数。