[发明专利]一种基于事件相机的端到端无监督光流估计方法

说明书

本发明提供了一种基于事件相机的端到端的无监督光流估计方法，涉及计算机视觉的光流估计领域,针对事件相机数据用于光流估计缺乏真实光流值，以及事件数据需要预先手工制作事件表示的缺点，提出一种基于事件相机的端到端的无监督光流估计方法。利用事件相机输出的事件流，首先对原始数据进行预处理，将四维转换为三维，然后将每个样本分为多个子序列，每个子序列用ConvLSTM单独处理，全部处理完以后按通道拼接形成最终送入光流预测网络中的三维数据。采用类似于编码/解码器的光流预测网络，利用事件相机固定频率输出的事件流数据的前后两个灰度帧设计光度误差损失，加上平滑度损失，共同作为无监督损失，促使网络最终估计出光流量。

技术领域

本发明涉及一种估计方法，具体涉及一种基于事件相机的端到端无监督光流估计方法，属于计算机视觉技术领域。

背景技术

事件相机(Event Camera)是一种新型传感器，与常规的相机相比，它不是以固定的频率捕获图像，而是根据像素点亮度的变化异步地生成事件，输出事件流。事件流对亮度变化的时间戳、位置和变化的极性进行编码，即e＝{x,y,t,p}，其中(x，y)表示坐标点，t表示产生事件的时间戳，p表示极性，取值±1，“+”表示亮度增加，“-”表示亮度降低，同时还以固定的频率输出灰度图像，如图1所示。事件相机相比传统相机具有很好的性能：高时间分辨率(微秒级)，低延迟，低功耗以及高动态范围，它可以捕获非常快的运动，而不会出现传统相机中的运动模糊问题。基于事件相机的这些优点，可以将其应用到计算机视觉的一些任务中，例如运动目标检测、目标运动估计等，从而解决传统相机不能解决的问题。

光流估计作为计算机视觉中的一个活跃的话题，是运动对象分割、位姿估计和动作识别等的基础任务。基于传统相机的光流估计方法，是在图像对中相应像素的亮度不变性假设下而提出的，常用方法有基于梯度的方法，基于匹配的方法和基于相位的方法，近年来基于神经网络的方法也不断涌现。但是传统相机用于光流估计，存在长久以来的孔径问题，以及图像的畸变和非刚体的运动带来的低鲁棒性问题，然而这些局限性在事件相机中似乎是可以改善的。基于事件相机的光流估计方法，分为事件数据表示和光流估计两个部分。对于事件数据的表示，有手工制作的事件表示和极少数的基于学习的事件表示两类，手工制作的事件表示方法有将事件数据转换为事件帧或2D直方图，时间表面(TS)以及体素网格等，基于学习的方法即从原始四维数据中学习出能提升任务性能的表示方法。对于光流估计部分，同传统相机一样，有传统的方法，随着深度学习的广泛应用，基于学习的方法近期也被应用到基于事件的光流估计中。尽管针对这两个部分，已经提出了诸多算法，但是仍然存在很多局限性：1.原始事件数据不适于常规的CNNs网络输入，需要对其进行预处理，转换为常规网络能够读取的形式，这种表示方法大多数是手工制作的，灵活性差并且耗费精力，不能针对特定的任务得到适合的表示方法；2.大量的原始事件数据缺乏光流真实值，无法完成有监督的光流估计网络训练；因此，迫切的需要一种新的方案解决上述技术问题。

发明内容

本发明针对上述基于事件相机的光流估计方法存在的事件数据表示耗费精力和数据缺乏光流真实值的问题，提出一种能够从原始输入数据种学习到有效的事件表示用于光流估计的端到端的无监督方法。该方案使用事件相机DAVIS输出的事件数据，先对事件数据进行预处理，包括坐标的标准化和时间的归一化，再将单个样本序列分为B个连续地子序列，每个序列用ConvLSTM单元单独处理，将B个子序列的输出结果通道连接在一起，得到一个3D的事件表示。这个事件表示最终作为光流预测网络的输入，网络将光度误差损失应用到当前事件样本数据前一帧和后一帧灰度图像上，以及平滑度损失，作为无监督损失，预测出光流。

为了实现上述目的，本发明的技术方案如下，一种基于事件相机的端到端无监督光流估计方法，所述方法包括以下步骤：