[发明专利]用于对象检测和轨迹预测的运动和外观特征的融合

说明书

描述了与自主车辆的对象检测和轨迹预测有关的技术和示例。处理器接收图像帧的输入流并且使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流。所述处理器基于所述增强流来执行所述图像帧中的一个或多个对象的对象检测和轨迹预测。

技术领域

本公开大体涉及自主车辆，并且更具体地涉及用于自主车辆的对象检测和轨迹预测的系统。

背景技术

自主车辆通常能够在没有人为输入的情况下感测环境和导航。作为要求，自主车辆需要能够在动态周围环境中留意和分类潜在移动对象。然而，跟踪视频序列中的多个对象以及预测多个对象未来将位于何处的能力仍然是一个挑战。虽然现有的努力获得了基于对象的先前位置来预测对象轨迹的结果，但所使用的模型往往缺乏从视频中提取时空特征动态以增强检测并改善用于对象跟踪的轨迹预测的能力。

发明内容

根据一个方面，公开了一种用于自主车辆的对象检测和轨迹预测的方法。所述方法包括由处理器接收图像帧的输入流。所述方法还包括由所述处理器使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流。所述方法还包括由所述处理器基于所述增强流来执行所述图像帧中的对象的对象检测和轨迹预测。

根据本公开的另一个方面，接收所述图像帧的输入流包括从车辆上的一个或多个图像传感器接收所述图像帧的输入流。

根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括利用所述图像帧的所述时空输入流来增强所述图像帧的所述基于外观的流以生成所述图像帧的所述增强流。

根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括由所述处理器从所述图像帧的接收流生成所述图像帧的所述时空输入流。附加地，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流还包括由所述处理器从所述图像帧的接收流生成所述图像帧的所述基于外观的流。

根据本公开的另一个方面，生成所述图像帧的所述时空输入流包括执行以下任一项：(a)使用光流计算和时空滤波器来生成所述图像帧的所述时空输入流；或者(b)使用适于从所述图像帧的所述输入流中提取运动信息的网络流来生成所述图像帧的所述时空输入流。

根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用级联所述时空输入流和所述基于外观的流的卷积神经网络(CNN)来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。

根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有早期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述早期融合架构中所述时空输入流和所述基于外观的流在没有单独处理的情况下被分别堆叠作为用于对象检测和轨迹预测的输入。

根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有后期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述后期融合架构中所述时空输入流和所述基于外观的流在两个单独流中进行处理以创建两组单独的特征图，所述特征图被组合以形成用于对象检测和轨迹预测的输入。

根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有缓慢融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述缓慢融合架构中，所述时空输入流和所述基于外观的流分别进行处理用于一个或多个层，之后进行组合以形成用于对象检测和轨迹预测的输入。