[发明专利]用于视频对象检测的计算设备和方法

说明书

用于视频对象检测的计算设备(10)。来自照相机(16)的图像被并行地传送至运行对象检测算法的第一处理器(12)和运行3D重建算法的第二处理器(14)。对象检测算法识别关注的语义对象并为关注的语义对象分配标签，并将标签信息输出至对象映射器(18)。对象映射器将标签分配给3D模型中表示对象的组件。计算设备可以形成海底或其他恶劣环境成像系统的一部分。

背景技术

存在着源于视频的各种形式的自动对象检测和评估，例如生产线传送带上的对象检测，以及关于安全照相机的运动对象检测。

本发明人已经设计出一种用于检测和定位视频中的对象的计算设备和方法，相比于已知的系统，所述设备和方法可以表现出下面的优点中的一个或多个：

·提高了准确性

·增强了鲁棒性

·提高了效率

·更快地实施

·降低了成本

发明内容

作为非限制性概述，本发明的实施例涉及一种计算设备，其中，来自照相机的图像被并行传送至运行对象检测算法的第一处理器和运行3D重建算法的第二处理器。对象检测算法识别感兴趣的语义对象，分配标签并标识感兴趣的语义对象在图像中的位置。3D重建算法基于图像生成3D模型。对象映射器能够获取标签和2D位置信息以及3D模型，并将标签映射至3D模型中表示所述对象的组件。然后，可以将3D位置和标签输出至另一设备或过程。该计算设备可以形成海底或其他恶劣环境成像系统的一部分。

根据本发明的第一方面，一种用于视频对象检测的计算设备得以提供，该计算设备包括：

第一数据处理器，被配置为执行对象检测或识别算法，以：

接收第一图像；

检测或识别第一图像中的对象；以及

为对象分配标签和2D位置；

与第一数据处理器不同的第二数据处理器，第二数据处理器被配置为执行3D重建算法，以：

接收第二图像；以及

处理第二图像和包括对象的一个或多个不同视图的其他图像数据，以建立包括表示对象的3D模型组件的3D模型；以及

对象映射器，与第一数据处理器和第二数据处理器可通信地连接，对象映射器被配置为将标签映射至3D模型组件，并输出标签和3D模型组件的3D坐标。

因此，根据第一方面的计算设备使用多台计算机和/或多核CPU有效地将3D视频对象检测算法划分成适于用现代计算机实现的、并行执行的多个任务。本发明不要求系统中较慢的任务以与较快的任务的速率相同的速率工作，因此并行执行的任务可以以最佳速度运行，并且总体实现可以快速且有效。因此，与利用单个处理器完成两项任务的系统相比，该计算设备可以检测对象并创建3D模型，所述3D模型具有大空间和大色彩分辨率、大色彩深度和高帧频的高带宽图像数据，速度更快和/或具有降低的处理功率和相关热量。此外，将对象检测器子系统与3D重建子系统分离使得允许使用历史图像数据来容易地训练对象检测器，而不需要历史3D数据。对于诸如在水下环境、海底环境之类的恶劣环境中使用的那些资源受限的计算机系统，根据第一方面的计算设备的系统设计允许有效利用可用的处理功率。尽管对象映射器需要访问模型才能工作，但是对象映射器不需要读取整个模型就可以映射标签并输出3D坐标。

3D模型可以包括捕获的或部分捕获的场景的点云或深度图或任何其他3D表示。3D模型组件可以包括点云中表示对象的点的子集。