[发明专利]基于事件相机的连续稠密光流估计方法及系统

说明书

本发明提供一种基于事件相机的连续稠密光流估计方法及系统，使用EDI模型重建任意时刻的清晰图像，利用亮度恒定假设支持得到任意时刻的稀疏光流，所述EDI表示事件相机二重积分；通过添加HS约束或CLG约束，实现估计稠密光流，所述HS表示全局光流，所述CLG表示结合本地和全局光流。和现有技术相比，本发明提供了一种不受图像模糊影响的光流估计方案，并在估计光流时引进了HS和CLG两种约束方法，利用了事件流和灰度图像的优势，提高了光流估计的准确率，能够支持高动态范围和高速运动场景应用。

技术领域

本发明属于图像处理领域，特别涉及高动态范围和高速运动场景下的光流估计技术。

背景技术

光流估计是计算机视觉领域的一个重要技术问题，近几十年来受到了广泛关注。传统的视觉传感器以固定的帧率采集图像，存在一些技术限制，低帧率的相机在高速运动时会产生运动模糊，而高帧率的相机又需要较大功耗和带宽。除此之外，传统相机对光照变化比较敏感，在高动态光照场景下容易使图像出现部分过曝或者欠曝的情况。运动模糊、过曝以及欠曝会使图像损失纹理、梯度、边缘等细节，影响输出图像的质量，进而降低光流估计的精度，因此基于传统相机的光流估计方法难以应用于高速运动等场景下的视觉任务中。

受仿生学启发的事件相机(Event Camera)是基于事件的传感器，其工作原理与传统的相机有很大的差别，如附图1所示。事件相机模拟人体视网膜的成像原理，其像素阵列通过测量每个像素的光强变化，以微秒级响应速度输出异步事件，输出的事件数据包含像素点位置、时间戳以及极性信息。相比于传统相机，事件相机具有高动态、高时间分辨率、低功耗的特性，可以提供传统相机两帧之间“盲时间”内的信息，为传统相机在高速运动等场景下无法进行高精度光流估计的问题提供了解决方案。

目前，基于事件相机的光流估计方法主要分为单纯基于事件流的方法，以及联合事件流和灰度图像的方法。单纯基于事件流的方法，由于缺少亮度图像，导致空间信息不足，从而会影响到光流估计的准确性，因此，更多的研究者将目光投向了联合事件流和灰度图像的方法，将事件流的高时间分辨率和灰度图像的高空间保真度相结合。但是由于相机存在固有的模糊效果，在高速运动场景中，输出的灰度图像可能会存在模糊，也会降低光流的质量。因此，需要研究出一种新的不受灰度图像模糊影响的光流估计方法，使事件相机的优势得到更加充分的发挥。此外，在光流的计算中，根据所形成的光流场中二维矢量的疏密程度，可以将光流法分为稠密光流与稀疏光流两种。稠密光流计算图像上所有的点的偏移量，从而形成一个稠密的光流场。由于光流矢量稠密，所以其效果也明显优于稀疏光流。因此，如果进行稠密光流的估计，可以使得所得光流更加准确，是本领域亟待解决的技术问题。

发明内容

基于以上分析，本发明的目的在于充分发挥事件相机在光流估计领域中的优势，利用事件相机的特性设计出在高速运动等场景下的瞬时光流估计方法，提高光流估计的精度。

本发明的技术方案提供一种基于事件相机的连续稠密光流估计方法，包括使用EDI模型重建任意时刻的清晰图像，利用亮度恒定假设支持得到任意时刻的稀疏光流，所述EDI表示事件相机二重积分；通过添加HS约束或CLG约束，实现估计稠密光流，所述HS表示全局光流，所述CLG表示结合本地和全局光流。

而且，所述使用EDI模型重建任意时刻的清晰图像，利用事件生成模型计算任意时刻的稀疏光流，实现方式包括如下步骤，

步骤1.1，将在曝光时间T内生成的第i帧模糊亮度图像表示为y[i]，使用EDI模型，用亮度图像生成时间段内的事件点补偿模糊亮度图像，得到任意时刻f的清晰亮度图像I(f)，

其中，E_i(f)表示第i帧模糊亮度图像的生成时间T内产生事件点的二重积分：

步骤1.2，基于亮度恒定假设，结合EDI模型，得到光流的如下表达，