[发明专利]自主机器应用中的时间信息预测

说明书

在各种示例中，可以使用通过将传感器数据与表示图像序列的图像数据相关联(例如，通过交叉传感器融合)生成的地面实况数据来训练顺序深度神经网络(DNN)。在部署中，顺序DNN可以利用传感器相关性来仅使用图像数据计算各种预测。预测可以包括自我车辆的视场中的对象在世界空间中的速度、图像空间中的对象的当前和未来位置，和/或对象物体与自我车辆之间的碰撞时间(TTC)。这些预测可以用作感知系统的一部分来理解和响应自我车辆的当前物理环境。

相关申请的交叉引用

本申请要求2019年3月15日提交的美国临时申请No.62/819,412的优先权，其通过引用整体并入本文。

背景技术

准确地预测时间信息的能力对于生成用于障碍物分析的世界模型和用于辅助车辆的控制确定是至关重要的。例如，时间信息预测可以作为自动驾驶软件栈的感知层的一部分生成，并且可以由世界模型管理器使用-除了绘制地图、定位和其他感知功能之外-还帮助车辆理解环境。时间信息预测还可以作为高级驾驶员辅助系统(ADAS)的基本输入，例如自动紧急制动(AEB)和自适应巡航控制(ACC)。

一些传统系统已经使用传统的计算机视觉算法(例如跟踪算法)来估计局部外观的变化以提取可用于生成时间信息估计的局部运动信息。然而，作为非限制性示例，这些计算机视觉算法对非刚性运动和观察方向(例如，障碍物的旋转)敏感，这可能导致较差的预测-尤其对于诸如行人的对象类型。环境中的物体或障碍物的背景也无法使用传统的计算机视觉算法来考虑，因此主流算法通常不能捕获或创建对象或障碍物如何相对于其静态环境移动的理解。此外，这些算法使用简单的内部机制来执行，这些机制依赖于固定的时基线来计算时间信息-从而不单独地考虑环境中的不同对象、场景和/或条件，并且导致较少提供有用信息的和准确的预测。

发明内容

本公开的实施例涉及用于自主机应用中的感知的时间信息预测。公开了涉及使用顺序深度神经网络(DNN)(例如，递归神经网络(RNN))来预测自主机器应用中使用的碰撞时间(TTC)、二维(2D)物体运动以及三维(3D)物体运动的系统和方法。

与传统系统(诸如上述那些)相比，本公开的系统使用传感器数据和图像数据之间的相关性来生成地面实况数据，用于训练顺序DNN以预测-在部署中-TTC、2D物体运动和3D物体运动，无需传感器数据作为输入。结果，顺序DNN能够仅从图像生成预测，而不需要在部署期间车辆的密集光流或运动以产生预测-如传统系统所需要的那样。为了在部署期间生成准确的结果而不需要传感器数据输入，本公开的系统利用使用交叉传感器融合的自动地面实况数据生成管道(pipeline)，用于过滤掉不一致的地面实况或训练数据的专用预处理步骤，增加训练数据集的鲁棒性的训练数据的时间增加，以及平滑预测的后处理步骤。

另外，取决于顺序DNN的实现，本系统实现了无状态或状态训练和推断方法，其提高了系统的准确性和计算效率。例如，描述了无状态推断方法，其利用先前的计算或执行并行计算来提高顺序DNN的预测的运行时效率和准确性。作为另一示例，描述了状态训练方法，其通过随机化训练数据集的小批量中的帧的序列长度、步幅和/或方向来降低过度拟合到训练数据集的可能性。

附图说明

下面参考附图详细描述用于自主机应用中的感知的时间信息预测的本系统和方法，其中：

图1是示出了根据本公开的一些实施例的用于对环境中的对象进行时间预测的示例过程的数据流程图；

图2-3是根据本公开的一些实施例的顺序深度神经网络(DNN)的时间信息预测的示例可视化；

图4是示出根据本公开的一些实施例的使用顺序DNN进行时间信息预测的方法400的流程图；

图5A是根据本公开的一些实施例的用于无状态推断的示例数据流程图；

图5B是示出根据本公开的一些实施例的使用缓冲区的无状态推断的方法的流程图；