[发明专利]使用环绕摄像机系统的并行场景基元检测

说明书

相关申请的交叉引用

本申请要求于2016年4月19日提交的美国临时申请号62/324,596的优先权权益，其公开内容通过引用整体地结合于本文中。

技术领域

本公开总体上涉及一种交通工具多摄像机系统，并且更具体而言，涉及一种用于并行地进行基元（primitive）检测、分类和跟踪的环视（surround view）摄像机系统。

背景技术

例如轿车、摩托车、船或任何其他类型的汽车之类的交通工具可配有一个或多个摄像机，以向驾驶员、交通工具的其他乘客和自动化交通工具的感知系统提供交通工具的外部视图。例如，交通工具可以包括前摄像机、侧摄像机和/或后摄像机。四面具有摄像机的交通工具可以实现一种环视摄像机系统，其提供交通工具及其周围的“鸟瞰”或“顶部”视图。来自摄像机的图像可在交通工具内的显示器上呈现给驾驶员或交通工具的另一乘客，例如在仪表板、中控面板（center stack）、抬头显示器等上呈现。此外，来自摄像机的图像可被用于检测交通工具外部的物体和道路特征。

发明内容

在一个示例性实施例中，描述了一种用于检测基元的计算机实现的并行化方法。该方法包括通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像。所述处理装置由所述至少一个图像生成包括特征基元的多个视图。特征基元指示所关注的一个或多个道路场景实体。使用每个并行处理核心，所述处理装置从所述多个视图中的一个或多个识别特征基元。使用机器学习和计算机视觉技术中的一种或多种来识别道路场景实体。所述处理装置基于所述多个视图并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。

在另一个示例性实施例中，描述了一种用于并行基元检测的系统。该系统包括与交通工具相关联的多个摄像机、具有计算机可读指令的存储器以及具有至少两个并行处理核心的处理装置。所述处理装置被配置成从与道路上的交通工具相关联的摄像机接收至少一个图像。所述处理装置由所述至少一个图像生成包括特征基元的多个视图。特征基元指示所关注的一个或多个道路场景实体。使用每个并行处理核心，所述处理装置从所述多个视图中的一个或多个识别道路场景实体。使用机器学习和计算机视觉技术中的一种或多种来识别特征基元。所述处理装置基于所述多个视图并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。

在又一示例性实施例中，用于并行场景基元检测的计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有随其一起实施的程序指令。该程序指令可通过处理装置执行，以使处理装置执行一种方法。该方法包括通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像。所述处理装置由所述至少一个图像生成包括特征基元的多个视图。特征基元指示所关注的一个或多个道路场景实体。使用每个并行处理核心，所述处理装置从所述多个视图中的一个或多个识别特征基元。使用机器学习和计算机视觉技术中的一种或多种来识别道路场景实体。所述处理装置基于所述多个视图并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。

除了本文所述的一个或多个特征之外，根据另一个实施例，结果特征基元指示可以是行人、交通标志、交通信号和道路特征的道路场景实体。

在另一示例性实施例中，机器学习利用卷积神经网络。

在另一示例性实施例中，在每个并行处理核心处识别道路场景实体还包括在每个并行处理核心处执行特征提取，以使用神经网络从一个视图提取道路场景实体。所述处理装置使用神经网络来执行道路场景实体的分类。

在又一示例性实施例中，一个或多个并行处理核心与另一个并行处理核心从不同的视图识别不同的道路场景实体。

在另一示例性实施例中，一个并行处理核心与另一个并行处理核心分析不同的视图。

在另一示例性实施例中，摄像机包括鱼眼镜头。

此外，本公开还包括如下技术方案。

方案1. 一种计算机实现的并行化的方法，包括：

通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像；

通过所述处理装置，由所述至少一个图像生成多个视图，所述多个视图包括指示所关注的一个或多个道路场景实体的特征基元；

利用所述至少两个并行处理核心中的每一个，使用机器学习和计算机视觉技术中的一种或多种，从所述多个视图中的一个或多个视图识别道路场景实体；以及