[发明专利]用于动态视觉传感器的块匹配光流和立体视觉

说明书

本发明涉及使用基于事件的视觉传感器来对光流进行计算。

技术领域

本发明涉及一种用于使用诸如动态视觉传感器(DVS)(例如，US7,728,269)之类的基于事件的视觉传感器来计算光流的方法和设备。特别地，本发明涉及在FPGA上计算光流的基于事件的块匹配算法。

在下文中，这样的基于事件的视觉传感器也被称为基于事件的相机或DVS。

背景技术

光流(OF)的迅速和低功率计算在机器人学中潜在地有用。基于事件的视觉传感器产生快速且稀疏的输出并且具有较高的动态范围，但是常规的光流算法基于帧并且无法直接与这种基于事件的相机一起使用。

先前的DVS光流方法在密集纹理输入的情况下无法正常工作，并且不是设计成用于在逻辑电路中实施。

光流(OF)估计一直是计算机视觉中的核心主题；光流被广泛地用于分割、3D重建和导航。光流首先在神经科学的背景下被研究用于了解昆虫和哺乳动物的运动知觉。在计算机视觉中，光流描述了由相机/视觉传感器在空间中移动所引起的运动场。

特别地，在对象和/或视觉传感器/相机正移动的场景(例如，3D)的图像序列中，该场景的每个点(在以相机或视觉传感器为中心的坐标系中)沿着3D路径移动，该3D路径在投影到图像平面上时产生具有速度dr(t)/dt的2D路径r(t)＝x(t),y(t)。所有可见的表面点的2D速度被称为运动场。光流计算的目的是计算运动场的近似估计。

两种周知的不昂贵的光流算法是Lucas-Kanade[1]和Horn-Schunck[2]方法。许多光流方法的核心是搜索可能的流从而在每个图像或特征位置处选择最可能的一种流。这种使用密集图像块的搜索是非常昂贵的并且难以在嵌入式平台上实时地计算。

基于事件的视觉传感器是数据驱动而非常规样本驱动的。常规样本驱动意味着相机以固定的间隔发送输出数据，因此其通常被表示为基于帧的相机。然而，基于事件的视觉传感器/相机的输出是由亮度(或光强度)变化而非固定的采样间隔驱动的。因此，需要设计新的光流方法。

Benosman等人[3]提出了一种时间-表面方法，该方法将2D事件和时间戳组合到3D空间中，并且光流通过局部平面拟合来获得。[4]提出了一种基于Lucas-Kanade梯度的方法，该方法收集事件的短2D直方图并解决该直方图上的亮度恒定约束。在2015年，Conradt[5]提出了一种在ARM 7微控制器上的实时DVS光流算法实现。Barranco[6]提出了一种用于高频纹理区域的更昂贵的基于相位的方法。[7]在Java框架jAER[8]中重新实现了这些方法中的几种方法，并将它们与基于定向边的飞行时间的最早的jAER方法进行了比较。其结论是，所有方法对于尖锐和稀疏的边缘而言提供了相当的精度，但是由于违反了基本假设(例如平滑的梯度或孤立的边缘)，这些方法在有纹理的或低空间频率输入上均失败了。该论文还介绍了对集成相机惯性测量单元(IMU)进行使用而根据相机旋转获得地面真实全局光流，并公开了我们在此使用的240x180像素DVS相机的基准数据集。现有工作中的大部分工作都基于PC软件算法[3][4][6][7]。尽管[5]基于嵌入式系统并且可以实时工作，但[5]的特征仅是对于相机旋转而不是相机在空间中平移的，并且[5]对事件的直接飞行时间的使用使得其在密集纹理的场景的情况下不太可能正常工作，并且其承受就边缘而言的光圈问题。

在视频技术中，光流被称为运动估计(ME)，并且光流在运用视频序列的时间冗余来实现诸如MPEG-4和H.263[9]的视频压缩标准方面被广泛地使用。运动估计的流水线包括块匹配。块匹配意味着矩形像素块在帧之间进行匹配以找到最佳匹配。块匹配在计算上是昂贵的。这就是为什么现在是在专用逻辑电路中广泛实现的原因。为了解决这个问题，Shahrukh[9]中提出了基于块匹配的逻辑运动估计实现的示例。

基于以上，本发明要解决的问题在于提供一种用于使用动态视觉传感器来计算光流且特别是用于计算立体视觉的有效的方法和设备。