[发明专利]同时进行实时对象检测和语义分割的系统和方法

权利要求书

1.一种对象检测和语义分割系统，所述系统包括计算设备，所述计算设备包括处理器和存储有计算机可执行代码的非易失性存储器，其中，所述计算机可执行代码在所述处理器处执行时被配置为：

接收场景的图像；

使用神经网络主干处理所述图像，以获得特征图；

使用对象检测模块处理所述特征图，以获得所述图像的对象检测结果；以及

使用语义分割模块处理所述特征图，以获得所述图像的语义分割结果，

其中，使用同一损失函数对所述对象检测模块和所述语义分割模块进行训练，所述损失函数包括对象检测组件和语义分割组件；以及

其中，所述神经网络主干包括ResNet18主干，所述ResNet18主干从其第4块截断。

2.根据权利要求1所述的系统，其中，针对所述对象检测模块和所述语义分割模块的训练数据包括：训练图像、所述训练图像中限定的至少一个边界框、所述至少一个边界框的标签、以及所述训练图像的掩码。

3.根据权利要求1所述的系统，其中，所述对象检测模块是单次检测器SSD。

4.根据权利要求1所述的系统，其中，所述对象检测模块依次包括：

五个卷积层；

检测层；以及

非极大值抑制NMS层。

5.根据权利要求4所述的系统，其中，针对512×512分辨率的图像，所述神经网络主干向所述检测层卷积地添加64×64信息和32×32信息，所述五个卷积层分别向所述检测层添加16×16信息、8×8信息、4×4信息、2×2信息和1×1信息。

6.根据权利要求1所述的系统，其中，所述语义分割模块是金字塔池化模块。

7.根据权利要求1所述的系统，其中，所述语义分割模块依次包括：

池化模块，所述池化模块池化所述特征图以获得不同大小的池化特征；

多个卷积层，每个卷积层对所述不同大小的池化特征中的一个池化特征进行卷积，以获得不同大小的卷积特征；

上采样模块，所述上采样模块接收所述不同大小的卷积特征以获得上采样特征；

拼接层，所述拼接层接收所述上采样特征和来自所述神经网络主干的特征以获得拼接特征；以及

卷积层，所述卷积层对所述拼接特征进行卷积以获得作为所述语义分割结果的逐像素预测。

8.根据权利要求7所述的系统，其中，所述池化特征的大小为1×1、2×2、3×3和6×6。

9.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为基于所述对象检测结果和所述语义分割结果控制所述场景中的操作设备。

10.一种对象检测和语义分割方法，包括：

通过计算设备接收场景的图像；

通过所述计算设备使用神经网络主干处理所述图像，以获得特征图；

通过所述计算设备使用对象检测模块处理所述特征图，以获得所述图像的对象检测结果；以及

通过所述计算设备使用语义分割模块处理所述特征图，以获得所述图像的语义分割结果，

其中，使用同一损失函数对所述对象检测模块和所述语义分割模块进行训练，所述损失函数包括对象检测组件和语义分割组件；以及

其中，所述神经网络主干包括ResNet18主干，所述ResNet18主干从其第4块截断。

11.根据权利要求10所述的方法，其中，针对所述对象检测模块和所述语义分割模块的训练数据包括：训练图像、所述训练图像中限定的至少一个边界框、所述至少一个边界框的标签、以及所述训练图像的掩码。

12.根据权利要求10所述的方法，其中，所述对象检测模块是单次检测器。