[发明专利]基于根据自运动的感官预测检测移动障碍物的系统和方法

说明书

描述了一种用于检测移动物体的系统。在操作期间，该系统获得移动平台的自运动速度数据，并且通过将三维(3D)数据投影到基于紧邻移动平台的场景的像素值的图像平面中来生成该场景的预测图像。基于该预测图像和在下一个时间步长拍摄的实际图像之间的差异来生成对照图像。接下来，基于该对照图像生成可执行预测图。最后，可以基于该可执行预测图检测一个或更多个移动物体。

相关申请的交叉引用

本申请要求2017年5月2日提交的美国临时申请No.62/500,071的权益并且是其非临时专利申请，其全部内容通过引用并入于此。

本发明的背景

(1)技术领域

本发明涉及一种物体检测系统，并且更具体地涉及基于根据自运动的感官预测检测移动物体的系统。

(2)相关技术的描述

物体检测和识别是多种应用中的必要特征。在操作期间和动态环境中，由于有噪声输入数据导致可能出现问题。例如，在感官输入被扰动或麻烦事损害的情况下，物体的检测和识别通常是有问题的。

用于物体检测和识别的现有技术一直由从图像提取特征(诸如边缘或梯度)的方法主导，而不考虑如何通过降维投影(例如，从三维(3D)到二维(2D))来生成图像。例如，用于物体检测的许多当前方法基于基于Haar特征的级联分类器(参见所并入的参考文献的列表，参考文献No.2和No.3)、定向直方图的直方图(参见参考文献No.4)或者可变形零件模型(参见参考文献No.5)。这些方法对偏离高斯噪声的结构噪声是敏感的。这些方法未明确地使用关于相机的自运动以及周围环境和物体的相对速度的信息来估计相机图像的预期变换。

深度学习特别是卷积神经网络(参见参考文献No.7和No.8)已经显示物体识别的最佳性能。然而，就这些方法自身而言，它们不足以检测场景中的移动障碍物，特别是由于误报率太高而无法在图像中进行详尽搜索。甚至利用卷积神经网络的基于区域的分割R-CNN(参见参考文献No.9)也变为不够的。

因此，一直需要用于在宽范围条件(例如，雨、雪、灰尘等)下检测移动障碍物的可靠系统和方法。

发明内容

描述了一种用于检测移动物体的系统。在一些情况下，该系统包括一个或更多个处理器以及存储器，该存储器是编码有可执行指令的非暂时性计算机可读介质，以使在执行指令时，一个或更多个处理器执行多个操作，诸如：获得移动平台的自运动速度数据；通过将三维(3D)数据投影到基于紧邻移动平台的场景的像素值的图像平面中生成该场景的预测图像；基于预测图像和在下一个时间步长拍摄的实际图像之间的差异来生成对照图像；基于对照图像生成可执行预测图；以及基于可执行预测图检测一个或更多个移动物体。

在另一方面，预测图像是针对多个时间步长生成的，得到向前可执行预测图和向后可执行预测图。

在另一方面，该系统执行以下操作：通过从向前可执行预测图和向后可执行预测图两者中去除重影(ghost)像素来生成最小化可执行预测图。

在又一方面，该系统执行以下操作：将最小化可执行预测图覆盖在场景的实际图像上以生成最终覆盖图(overlay)。

在另一方面，3D数据是从立体相机获得的。

在又一方面，3D数据是从安装在移动平台上的LIDAR传感器获得的，并且场景的像素值是从安装在移动平台上的相机拍摄的图像获得的。LIDAR传感器和相机被安装在移动平台上，使得它们被共孔径瞄准(coboresight)以查看移动平台周围的公共视场。

在又一方面，该系统执行以下操作：基于一个或更多个物体的检测控制装置。在一些实施方式中，控制装置包括：使车辆操纵以避免与物体碰撞。