[发明专利]基于联合数据增强和网络训练模型的3D人体姿态估计方法

权利要求书

1.一种基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，具体步骤如下：

步骤1、调整训练预训练完成的图像-2D序列的网络,使用实验数据集在预训练完成的模型上做调整训练，得到3D人体姿态估计模型中的第一阶段的模型；

步骤2、预训练2D-3D的级联残差网络，使用人体的2D关节点或者关节点热图作为输入，得到初始阶段的2D-3D姿态估计模型；

步骤3、根据预训练的2D-3D网络信息，奖励和惩罚函数的策略得到数据增强操作的分布；以预训练姿态估计网络中损失函数的平均值为参考，如果一个分布通过进化数据增强算法合成的数据具有高效性，就对这个分布进行奖励；反之就对这个分布进行惩罚，得到进化数据增强算法中交叉和变异操作的新的分布；

步骤4、根据步骤3得到的增强分布，通过改进进化数据增强的算法来合成3D的人体姿态；

步骤5、联合优化数据增强和2D-3D的网络训练，继续训练这个轮次中预训练之前模型，得到新的3D人体姿态估计模型；

步骤6、重复联合训练多个轮次，将得到的2D-3D的估计网络和步骤1中的第一阶段的网络模型连接，得到最终3D人体姿态估计的模型。

2.根据权利要求1所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，所述步骤3中：

算法要求的输入是：进行预训练模型的数据所对应的进化数据增强算法中的交叉和变异的分布P和预训练模型的损失函数值L；

算法要求的输出是：根据预训练模型的损失函数值对进化数据增强算法中的交叉和变异的分布P进行奖励和惩罚之后更新的分布P’。

3.根据权利要求2所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，

同一训练阶段的各个训练模型的损失函数值的平均值作为当前阶段的评价参考，公式如下：

其中Loss是进化数据增强算法合成的数据的预训练模型中的损失函数值，n表示每个训练训练轮次中预训练模型的个数；

将当前阶段预训练的所有模型的损失函数值和得到的平均值进行比较，以确定合成用于训练模型的数据是否具有高效性；

如果Loss_iLoss_average，那么对应的训练模型的数据是具有高效性的，对合成此数据集的分布P进行奖励；

P_i′＝P_i+α

其中α是奖励系数，其数值越大，表示奖励的作用程度越大，同时为了保持总概率分布恒定，对其他分布做相应的调整；

如果Loss_iLoss_average，那么对应的训练模型的数据是不具有高效性的，对合成此数据集的分布P进行惩罚；

P_i′＝P_i-β

其中β是惩罚系数，其数值越大，表示惩罚的作用程度越大，同时为了保持总概率分布恒定，对其他分布做相应的调整；

得到相对于的经过奖励和惩罚函数策略依据损失函数值更新之后的进化数据增强算法中交叉和变异操作的分布概率P’。

4.根据权利要求3所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，所述步骤5中：

算法要求的输入是：预训练完成的3D人体姿态估计模型HPE；用于训练模型的数据集X；进化数据增强算法中交叉和变异操作的分布概率P；

算法要求的输出是：根据奖励和惩罚函数策略得到的新的交叉和变异操作的分布概率P′；进化数据增强算法合成的新数据集X’；由新的合成数据集训练得到的新3D人体姿态估计模型HPE′。

5.根据权利要求4所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，所述步骤5具体为：

步骤5-1：使用输入的训练数据集X对3D人体姿态估计模型HPE进行预训练，得到一组新的姿态估计模型；

步骤5-2：计算训练数据集在预训练模型上的损失函数值，得到Loss作为判断合成的数据是否高效的依据；

步骤5-3：根据步骤3，使用奖励和惩罚函数的策略对交叉和变异操作的分布概率P进行更新，得到新的分布概率P′；

步骤5-4：使用新得到的交叉和变异操作的分布概率P′,进行进化数据增强的操作，得到新合成的数据集X’；

步骤5-5：使用新合成的数据集X′对输入的3D人体姿态估计模型进行训练，得到新的人体姿态估计模型HPE′。