[发明专利]姿态估计模型的训练与姿态估计方法、装置、设备及介质

权利要求书

1.一种姿态估计模型的训练方法，其特征在于，包括：

获取图像样本集；

通过所述图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；

其中，所述初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；所述特征提取网络包括：特征提取模块和空间金字塔池化模块；所述空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；所述第一特征提取单元和所述第二特征提取单元设置不同的特征提取尺度；

所述初始姿态估计模型中的所述堆叠沙漏网络包括：第三预设数量的沙漏网络；所述第三预设数量小于最佳设置数量；

所述通过所述图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型包括：

将所述图像样本集中的第一图像样本集确定为目标图像样本集，将所述初始姿态估计模型确定为待训练模型；

通过所述目标图像样本集迭代训练所述待训练模型，得到有效姿态估计模型；

将所述有效姿态估计模型中堆叠沙漏网络的沙漏网络个数增加至最佳设置数量；

将所述图像样本集中的第二图像样本集确定为目标图像样本集，将包含最佳设置数量的沙漏网络的有效姿态估计模型确定为待训练模型；

返回执行通过所述目标图像样本集迭代训练所述待训练模型的操作，得到目标姿态估计模型。

2.根据权利要求1所述的方法，其特征在于，所述第一特征提取单元包括：至少一个第一卷积层；所述第二特征提取单元包括：串联的第一预设数量的第二卷积层和金字塔池化层。

3.根据权利要求2所述的方法，其特征在于，所述第一预设数量为3个； 3个第二卷积层的卷积核均为11，所述3个第二卷积层中的第1个卷积层和第2个卷积层连接，所述第2个卷积层与所述金字塔池化层连接；所述金字塔池化层与第3个卷积层连接；

所述金字塔池化层包括：至少两个并联的最大池化层，各所述最大池化层的卷积核尺度不同。

4.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括：第一预设数量的下采样层和第二预设数量的特征提取层；所述下采样层为卷积层。

5.根据权利要求1所述的方法，其特征在于，所述通过所述目标图像样本集迭代训练所述待训练模型的操作包括：

将所述目标图像样本集中的样本图像输入所述待训练模型的特征提取模块进行特征提取，得到第一特征图像；

将所述第一特征图像分别输入所述待训练模型的空间金字塔池化模块中的第一特征单元和第二特征单元，将所述第一特征单元输出的第二特征图像和所述第二特征单元输出的第三特征图像输入所述待训练模型的空间金字塔池化模块中的特征融合单元得到目标特征图像；

将所述目标特征图像输入所述待训练模型的堆叠沙漏网络获得所述样本图像的定位图和偏置图，根据所述定位图和所述偏置图确定所述样本图像中目标体的各关键点的估计坐标；

根据各所述关键点的估计坐标和各所述关键点的真实坐标计算损失函数值，并基于损失函数值对待训练模型中的网络参数进行调整；

返回执行将所述目标图像样本集中的样本图像输入所述待训练模型的特征提取模块进行特征提取的操作，直到达到预设条件。

6.根据权利要求5所述的方法，其特征在于，所述偏置图包括：第一方向偏置图和第二方向偏置图，所述根据所述定位图和所述偏置图确定所述样本图像中目标体的各关键点的估计坐标，包括：

确定所述定位图中各关键点的定位区域对应的最大响应坐标；所述关键点的定位区域是所述样本图像中各关键点的真实坐标对应的预设范围；

对于各所述关键点，根据所述最大响应坐标和所述第一方向偏置图中所述关键点的第一偏置坐标确定第一偏置响应坐标；根据所述最大响应坐标和所述第二方向偏置图中所述关键点的第二偏置坐标确定第二偏置响应坐标；

对于各所述关键点，根据所述第一偏置响应坐标和所述第二偏置响应坐标对所述最大响应坐标进行无偏估计确定估计坐标。

7.根据权利要求1所述的方法，其特征在于，还包括：通过预设操作对所述图像样本集中的样本图像进行数据增强；

所述预设操作包括以下至少一项：随机旋转、随机翻转和随机大小调整。