[发明专利]估计对象接触时间的系统和方法、计算机可读介质

说明书

本发明涉及一种估计对象接触时间的系统和方法、计算机可读介质。描述了一种用于通过二维感测和三维感测的组合来利用障碍物的距离可靠地检测这些障碍物的机器人系统。在操作中，所述系统接收来自单眼视频的图像和来自距离传感器的、接近移动平台的场景的距离深度数据。所述图像被分割成多个感兴趣对象区域，并且通过估计运动场并对图像强度进行运算来计算接触时间(TTC)值。然后，通过估计所述多个感兴趣对象区域上的平均TTC值来生成二维(2D)TTC图。然后，通过将所述距离深度数据与图像融合来生成三维TTC图。最后，通过对所述2D TTC图和所述3D TTC图进行平均化来生成距离融合TTC图。

相关申请的交叉引用

本申请是2016年9月20日提交的美国序列号No.15/271,025的部分继续申请，其是2015年9月21日提交的美国临时申请No.62/221,523的非临时申请，这两者由此都通过引用并入本文中。

本申请也是2015年7月9日提交的美国序列号No.14/795,884的部分继续申请，其是2015年4月6日提交的美国序列号No.14/680,057的部分继续申请，这两者由此都通过引用并入本文中。

本申请也是2016年2月10日提交的美国临时申请No.62/293,649的非临时专利申请，其整体由此通过引用并入本文中。

有关联邦政府资助的研究和开发的声明

本发明是在由DARPA授予的合同No.HR011-09-C-000的政府支持下完成的。该政府拥有本发明的某些权利。

发明的背景

(1)技术领域

本发明涉及描述了一种用于通过二维感测和三维感测的组合来利用障碍物的距离可靠地检测这些障碍物的系统，并且更具体地说，涉及这样一种被用于为了自主导航目的而生成准确的接触时间图的系统。

(2)背景技术

障碍物检测和避开是为实现自主机器人和/或导航所需的至关重要的任务。一些系统利用距离传感器，诸如LIDAR或RADAR传感器(参见引入参考文献列表，参考文献No.1)，其具有提供对迫近障碍物碰撞的准确估计的能力。其它系统则尝试诸如使用单眼相机的较小传感器来检测并避开迫近的障碍物(参见参考文献NO.2、NO.3、NO.4和NO.5)。单眼相机实现针对自主系统的低SWaP要求；然而，使用单眼相机的主要挑战之一是每个相机帧本身固有地不能提供来自场景的深度数据。因此，深度信息和后续相机帧通常被用于给出对场景深度的估计。

然而，由于不一致的特征跟踪、少纹理环境、有限工作距离、和/或所需密集计算，因此其挑战在于，从被动视觉(passive vision)(光学流、立体声(stereo)、或运动恢复结构(structure from motion))可靠且快速地检测障碍物并估计接触时间或碰撞时间(TTC)值。主动距离感测可以提供到(远近两者)障碍物的绝对且无差错距离；然而，这些类型的传感器(即，二维(2D)激光扫描仪、三维(3D)光检测和测距(LIDAR)、或者红/绿/蓝/深度(RGB-D)相机)通常笨重/体积大，输出稀疏点云，以低帧速率操作，或者限于在室内可靠工作。

针对用于自主导航的障碍物检测和TTC估计开发了许多技术(并且还通常用于计算机视觉和机器人应用)。例如，大多数基于单眼/光学流的方法需要昂贵的计算，并且可能产生不可接受量的错误检测，同时仅提供相对的TTC。基于立体声的深度估计被限制于受基线长度约束的工作距离(通常较短的预见)，并且在无纹理环境和均匀表面上执行非常差。运动恢复结构至少需要在不同视点上拍摄多帧。通过被动感测(即，使用相机)的深度估计固有地涉及从像素域中的不确定性传播的误差(不匹配、缺乏特征)。另一方面，通过激光扫描仪或3D LIDAR传感器的主动感测可以提供比2D绝对且更准确的TTC或深度测量，但是这些类型的感测主要需要高SWaP(即，尺寸、重量、以及功率)并产生稀疏点云。使用2D和3D传感器的最佳融合尚未被很好地利用于高速导航。