[发明专利]联合检测模型训练、联合检测方法、装置、设备及介质

权利要求书

1.一种联合检测模型训练方法，包括：

获取联合检测模型的图像训练数据；其中，所述联合检测模型包括2D关键点预测子网络和3D关键点预测子网络；所述2D关键点预测子网络包括2D关键点估计子网络和2D关键点修正子网络；所述3D关键点预测子网络包括映射模块和投影模块；

通过所述2D关键点估计子网络对所述图像训练数据进行目标检测，得到目标检测对象的2D关键点初始预测信息；

通过所述2D关键点修正子网络根据2D关键点历史预测信息对所述2D关键点初始预测信息进行修正，得到2D关键点预测信息；通过所述映射模块根据所述2D关键点预测信息进行深度估计，得到所述目标检测对象的3D关键点预测信息；

所述投影模块用于对所述3D关键点预测信息进行转换得到2D关键点转换信息；根据所述3D关键点预测信息进行模型训练。

2.根据权利要求1所述的方法，所述2D关键点估计子网络为全监督学习网络；所述方法还包括：

获取视频流的2D关键点标注连续帧图像；

通过所述2D关键点估计子网络对所述2D关键点标注连续帧图像采用全监督的学习方式进行目标检测的预训练；

在确定所述2D关键点估计子网络预训练成功的情况下，固定所述2D关键点估计子网络的梯度参数。

3.根据权利要求1所述的方法，所述2D关键点估计子网络为弱监督学习网络；所述图像训练数据为连续帧图像，所述连续帧图像的首帧图像包括2D关键点标注信息；

所述通过所述2D关键点估计子网络对所述连续帧图像进行目标检测，包括：

通过所述2D关键点估计子网络对当前帧图像进行目标检测，得到当前帧图像目标检测结果；

将所述当前帧图像目标检测结果作为所述当前帧图像的下一帧图像的弱监督信息，并根据所述弱监督信息对所述下一帧图像进行目标检测。

4.根据权利要求1所述的方法，其中，所述映射模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法以及对抗生成网络中的任意一种方式实现；

所述投影模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法、对抗生成网络以及特征降维方法中的任意一种方式实现。

5.根据权利要求1-4任一所述的方法，其中，所述根据所述3D关键点预测信息进行模型训练，包括：

根据所述3D关键点预测信息和监督数据进行模型训练。

6.根据权利要求5所述的方法，其中，所述监督数据包括原始2D关键点信息；

所述根据所述3D关键点预测信息和监督数据进行模型训练，包括：

对所述3D关键点预测信息进行转换得到的2D关键点转换信息；

对所述2D关键点转换信息和所述原始2D关键点信息进行对比，得到关键点预测对比结果；

在确定所述关键点预测对比结果不满足模型训练终止条件的情况下，返回执行获取联合检测模型的图像训练数据的操作，以持续对联合检测模型进行训练，直至确定所述关键点预测对比结果满足所述模型训练终止条件。

7.根据权利要求1-6任一所述的方法，所述目标检测对象包括招牌；所述3D关键点预测信息包括所述招牌的3D顶点预测信息。

8.一种联合检测方法，包括：

获取待检测图像数据；

将所述待检测图像数据输入至联合检测模型中，得到目标检测对象的3D关键点检测信息；

其中，所述联合检测模型通过权利要求1-7任一所述的联合检测模型训练方法训练得到。