[发明专利]同时进行实时对象检测和语义分割的系统和方法

说明书

一种同时进行对象检测和语义分割的系统和方法。该系统包括计算设备。该计算设备具有处理器和存储有计算机可执行代码的非易失性存储器。计算机可执行代码在处理器处执行时被配置为：接收场景的图像；使用神经网络主干处理图像以获得特征图；使用对象检测模块处理特征图以获得图像的对象检测结果；使用语义分割模块处理特征图以获得图像的语义分割结果。使用同一损失函数训练对象检测模块和语义分割模块，该损失函数包括对象检测组件和语义分割组件。

交叉引用

在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献对于本公开是已有的。在本说明书中引用的或讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。

技术领域

本公开总体上涉及计算机视觉，具体涉及一种同时进行实时对象检测和语义分割的系统和方法。

背景技术

在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，发明人的工作以及在提交申请时可能不符合已有技术的描述方面，既不明确也不隐含地承认为相对于本公开是已有的。

对于自动驾驶车辆而言，及时了解其周围环境，如汽车、行人、交通指示灯、交通标志和可用空间等至关重要。为了实现这一目标，自动驾驶系统通常需要执行多个基于视觉的任务，例如对象检测、语义分割、运动估计和3D重建，其中对象检测和语义分割是两个最重要的任务。然而，鉴于汽车的计算能力有限，执行每项任务的计算成本相当高。

因此，本领域存在解决上述缺陷和不足的需要。

发明内容

在一些方面，本公开涉及一种对象检测和语义分割系统。在一些实施例中，所述系统包括计算设备。所述计算设备具有处理器和存储有计算机可执行代码的非易失性存储器。所述计算机可执行代码在所述处理器处执行时被配置为：接收场景的图像；使用神经网络主干处理所述图像，以获得特征图；使用对象检测模块处理所述特征图，以获得所述图像的对象检测结果；以及使用语义分割模块处理所述特征图，以获得所述图像的语义分割结果。使用同一损失函数对所述对象检测模块和所述语义分割模块进行训练，所述损失函数包括对象检测组件和语义分割组件。

在一些实施例中，针对所述对象检测模块和所述语义分割模块的训练数据包括：训练图像、所述训练图像中限定的至少一个边界框、所述至少一个边界框的标签、以及所述训练图像的掩码。

在一些实施例中，所述神经网络主干包括ResNet18主干，所述ResNet18主干从其第4块截断。

在一些实施例中，所述对象检测模块是单次检测器(SSD)。

在一些实施例中，所述对象检测模块依次包括：五个卷积层；检测层；以及非极大值抑制(NMS)层。在一些实施例中，针对512×512分辨率的图像，所述神经网络主干向所述检测层卷积地添加64×64信息和32×32信息，所述五个卷积层分别向所述检测层添加16×16信息、8×8信息、4×4信息、2×2信息和1×1信息。

在一些实施例中，所述语义分割模块是金字塔池化模块。

在一些实施例中，所述语义分割模块依次包括：池化模块，所述池化模块池化所述特征图以获得不同大小的池化特征；多个卷积层，每个卷积层对所述不同大小的池化特征中的一个池化特征进行卷积，以获得不同大小的卷积特征；上采样模块，所述上采样模块接收所述不同大小的卷积特征，以获得上采样特征；拼接层，所述拼接层接收所述上采样特征和来自所述神经网络主干的特征以获得拼接特征；以及卷积层，所述卷积层对所述拼接特征进行卷积以获得作为所述语义分割结果的逐像素预测。在一些实施例中，所述池化特征的大小为1×1、2×2、3×3和6×6。

在一些实施例中，所述计算机可执行代码还被配置为基于所述对象检测结果和所述语义分割结果控制所述场景中的操作设备。