[发明专利]三维物体检测方法、装置、设备及存储介质

权利要求书

1.一种三维物体检测方法，包括：

获取待检测的单帧彩色图像；

获取所述单帧彩色图像的前景物体特征和物体约束特征；

根据所述前景物体特征和所述物体约束特征对所述单帧彩色图像进行三维物体检测。

2.根据权利要求1所述的方法，其中，所述获取所述单帧彩色图像的前景物体特征，包括：

将所述单帧彩色图像输入至深度特征估计网络；

获取所述深度特征估计网络的第一输出数据，作为所述单帧彩色图像的深度图像特征；

将所述深度图像特征输入至两层全连接神经网络；

获取所述两层全连接神经网络的第二输出数据，作为热力分布特征；

根据所述深度图像特征和所述热力分布特征获取所述前景物体特征。

3.根据权利要求2所述的方法，其中，所述根据所述深度图像特征和所述热力分布特征获取所述前景物体特征，包括：

根据所述热力分布特征确定前景物体对象；

获取所述前景物体对象的坐标位置数据；

根据所述坐标位置数据从所述深度图像特征中提取目标深度图像特征，作为目标前景物体特征；

根据所述目标前景物体特征构建所述前景物体特征。

4.根据权利要求1所述的方法，其中，所述获取所述单帧彩色图像的物体约束特征，包括：

将所述前景物体特征输入至物体级别transformer网络；

获取所述物体级别transformer网络的第三输出数据；

将所述第三输出数据输入至两层全连接神经网络，得到第四输出数据；

将所述第四输出数据作为所述物体约束特征。

5.根据权利要求4所述的方法，其中，所述获取所述物体级别transformer网络的第三输出数据，包括：

将所述前景物体特征输入至所述物体级别transformer网络的物体编码器；

获取所述物体编码器的编码输出结果，并将所述编码输出结果输入至所述物体级别transformer网络的物体译码器；

获取所述物体译码器的译码输出结果，作为所述第三输出数据。

6.根据权利要求5所述的方法，其中，所述获取所述物体编码器的编码输出结果，包括：

根据所述前景物体特征和二维位置信息编码获取第一物体特征向量；

将所述第一物体特征向量输入至所述物体编码器的第一多头注意力模块，得到第一注意力模块输出数据；

将所述第一注意力模块输出数据与所述第一物体特征向量进行相加处理，得到第一相加处理结果，并对所述第一相加处理结果进行归一化处理，得到第一归一化输出数据；

将所述第一归一化输出数据输入至所述物体编码器的前向网络，得到第一前向网络输出数据；

将所述第一归一化输出数据和所述第一前向网络输出数据进行相加处理，得到第二相加处理结果，并对所述第二相加处理结果再次进行归一化处理，得到所述编码输出结果。

7.根据权利要求5所述的方法，其中，所述获取所述物体编码器的编码输出结果，包括：

根据初始物体向量和二维位置信息编码获取第二物体特征向量；

将所述第二物体特征向量输入至所述物体译码器的第二多头注意力模块，得到第二注意力模块输出数据；

将所述第二注意力模块输出数据与所述第二物体特征向量进行相加处理，得到第三相加处理结果，并对所述第三相加处理结果进行归一化处理，得到第三归一化输出数据；

将所述第三归一化输出数据和所述编码输出结果输入至所述物体译码器的第三多头注意力模块，得到第三注意力模块输出数据；

将所述第三注意力模块输出数据与所述第三归一化输出数据进行相加处理，得到第四相加处理结果，并对所述第四相加处理结果进行归一化处理，得到第四归一化输出数据；

将所述第四归一化输出数据输入至所述物体译码器的前向网络，得到第二前向网络输出数据；

将所述第四归一化输出数据和所述第二前向网络输出数据进行相加处理，得到第五相加处理结果，并对所述第五相加处理结果再次进行归一化处理，得到所述译码输出结果。