[发明专利]基于联合数据增强和网络训练模型的3D人体姿态估计方法

说明书

本发明提供了基于联合数据增强和网络训练模型的3D人体姿态估计方法，包括：调整训练预训练完成的图像‑2D序列的网络；预训练2D‑3D变换的级联残差网络；根据预训练的2D‑3D网络信息，奖励和惩罚函数的策略得到数据增强操作的分布；根据得到的增强分布，改进进化数据增强的算法来合成3D的人体姿态；联合优化数据增强和2D‑3D的网络训练，最终得到3D人体姿态估计的模型。本发明的有益效果在于：提出了基于奖励和惩罚函数策略的联合优化进化数据增强和网络训练的方法，通过网络训练中的信息来合成数据增强操作的分布，通过得到的增强分布来改进进化数据增强算法，使数据增强和模型训练相互促进，从而获得泛化性能更好的3D人体姿态估计模型。

技术领域

本发明涉及一种基于联合数据增强和网络训练模型的3D人体姿态估计方法及装置技术,属于基于深度学习的计算机视觉技术领域。

背景技术

人体姿态估计指从特定的具有人体姿态的输入内容(图片或视频)，输出人体的姿态和各部分位置与关系的计算机视觉任务。在3维空间将人体姿态的表示出来的称为3D人体姿态估计。3D人体姿态估计已被广泛应用在人机交互、虚拟现实(VR)、运动分析等计算机视觉应用领域中。

凭借其强大的表示学习能力，深度学习的方法大大提高了3D人体姿态估计模型的准确性，并且使基于深度学习的人体姿态估计具有越来越好的发展前景。

基于深度学习的3D人体姿态估计算法主要可分为一阶段的3D人体姿态估计算法和两阶段的3D人体姿态估计算法等。

一阶段的3D人体姿态估计算法直接建立图片到3D人体姿态的映射关系，由于单个图像到3D人体姿势估计的深度模糊性，一阶段的3D人体姿态估计算法表现不尽如人意。

两阶段的3D人体姿态估计算法先从图片中回归2D的人体关节点位置，然后再将2D的人体关节点映射到3D空间。得益于2D人体姿态估计模型的取得了令人瞩目的效果，两阶段的3D人体姿态估计算法逐渐地成为了3D人体姿态估计的主流算法。

尽管基于深度学习的人体姿态估计方法取得了如此成功，但深度学习模型的训练仍需要大量标记数据的数量，因此训练数据直接决定了模型准确性的上限。特别地，对于3D人体姿态估计，这更为严重，因为在获取人体姿势数据集、收集准确的3D姿势标注的过程中需要大量的人力和时间成本，并且收集到的人体姿势都是在固定的场景下。因此，3D人体姿势数据集的问题成为制约模型性能提升的主要瓶颈。

为了解决模型由于缺少标记数据而引起的泛化性能差，一种基于进化算法来合成大量3D人体姿态的数据增强方法提供了好的解决思路。在进化数据增强算法中，人体姿势首先被表示为树状结构，然后通过交叉(交换两个亲代的两个部分)和变异(随机旋转局部骨骼)来合成新的数据样本。然后将进化增强算法合成的数据用于训练3D人体姿势估计网络，以达到更好的泛化性能。

然而，在提出的算法中，数据增强过程和姿势估计网络训练是分别进行的。这两个部分可以组合共同训练，相互促进来训练成为更有效的网络。

发明内容

技术问题：

针对上述3D人体姿态估计缺乏标记的数据集和进化数据增强难以合成有效的数据的问题，本发明的目的是提供一种基于联合数据增强和网络训练模型的3D人体姿态估计方法及装置，其能通过改进的进化数据增强算法合成3D的人体姿态数据集，并通过基于奖励和惩罚函数的策略来联合优化进化数据增强和3D人体姿态估计网络的训练，最终提高了3D人体姿态估计模型的泛化性能。

技术方案：

为实现上述目的，本发明采取以下技术方案：一种基于联合数据增强和网络训练模型的3D人体姿态估计方法，其包括：

步骤1、调整训练预训练完成的图像-2D序列的网络，同时将其输出作为2D-3D阶段网络模型的输入数据；