[发明专利]用于对象检测和轨迹预测的运动和外观特征的融合

权利要求书

1.一种方法，其包括：

由处理器从车辆上的一个或多个图像传感器接收图像帧的输入流；

由所述处理器使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流；以及

由所述处理器基于所述增强流来执行所述图像帧中的对象的对象检测和轨迹预测。

2.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括利用所述图像帧的所述时空输入流来增强所述图像帧的所述基于外观的流以生成所述图像帧的所述增强流。

3.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括：

由所述处理器从所述图像帧的所述接收流生成所述图像帧的所述时空输入流；以及

由所述处理器从所述图像帧的所述接收流生成所述图像帧的所述基于外观的流，

其中生成所述图像帧的所述时空输入流包括执行以下任一项：

使用光流计算和时空滤波器来生成所述图像帧的所述时空输入流；或者

使用适于从所述图像帧的所述输入流中提取运动信息的网络流来生成所述图像帧的所述时空输入流。

4.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用级联所述时空输入流和所述基于外观的流的卷积神经网络(CNN)来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。

5.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有早期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述早期融合架构中所述时空输入流和所述基于外观的流在没有单独处理的情况下被分别堆叠作为用于对象检测和轨迹预测的输入。

6.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有后期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述后期融合架构中所述时空输入流和所述基于外观的流在两个单独流中进行处理以创建两组单独的特征图，所述特征图被组合以形成用于对象检测和轨迹预测的输入。

7.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有缓慢融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述缓慢融合架构中，所述时空输入流和所述基于外观的流分别进行处理用于一个或多个层，之后进行组合以形成用于对象检测和轨迹预测的输入。

8.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有递归连接的递归神经网络(RNN)以利用来自所述图像帧的先前视频帧的输出作为所述图像帧的当前视频帧的输入来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。

9.一种可在车辆中实现的设备，其包括：

一个或多个图像传感器，其能够捕获图像帧并提供所述图像帧作为图像帧的输入流；以及

处理器，其通信地耦合到所述一个或多个图像传感器，所述处理器能够执行包括以下的操作：

从所述一个或多个图像传感器接收图像帧的所述输入流；

使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流；以及

基于所述增强流来执行所述图像帧中的对象的对象检测和轨迹预测。