[发明专利]基于运动链接空间的对抗性网络估计3D人体姿态的方法

权利要求书

1.一种基于运动链接空间的对抗性网络估计3D人体姿态的方法，其特征在于，包括如下步骤：

步骤S1、采用单目设备采集人体彩色图像I，其后进行图像归一化，并且利用2D和3D人体数据集进行标注，分别获取2D人体骨骼坐标P和3D人体骨骼坐标M∈R^3×n；采用原始图像和人体骨骼坐标进行镜像和裁剪，进行图像数据增广；

步骤S2、3D人体骨骼坐标生成网络：采用弱监督的生成对抗网络学习解决数据过拟合的问题，其中特征提取阶段采用如下计算公式：

F＝R(BN(W₁*I_g+B₁))                              (1)

式中，R表示非线性激活函数LeakyRelu，W₁，B₁分别表示特征提取阶段中卷积层的权重和偏置，BN表示归一化函数，Ig表示输入图片，F表示特征提取阶段得到的输出结果；之后，再经过卷积块、重塑模块，以及再分别经过两个全连接层，即得到对应的3D人体骨骼坐标；

步骤S3、采用卷积神经网络估计摄像头坐标参数K∈R^2×3，以辅助反向投影层；

步骤S4、基于步骤S1标注获得的3D人体骨骼坐标以及步骤S2、3D人体骨骼坐标生成网络生成的3D人体骨骼坐标，采用运动链接空间的WassersteinGAN的判别器，计算人体骨骼的链接角度和长度，同时将输入图像与3D人体骨骼坐标融合输入到卷积神经网络中，以提升3D人体骨骼坐标生成的准确性；

步骤S5、通过反向投影层，基于步骤S3计算的摄像头坐标参数K∈R^2×3，将3D人体骨骼坐标转换为2D人体骨骼坐标；

P'＝KM                                                       (2)

式中，P'为预测的2D人体骨骼坐标；

步骤S6、预测3D人体姿态关键节点的损失函数，M∈R^3×n表示3D人体骨骼坐标，亦即3D人体姿态关键节点位置，坐标m_i(x,y,z)表示人体的其中一个关键节点位置，i＝1，……，n，并在最后一个输出层进行reshape操作，从而获取3D人体坐标；

步骤S7、渐进训练策略：将训练过程分为预设的多个子训练周期，采用步进增长策略依次进行子训练周期的训练；训练开始时将原始图像缩放成小图片并佐以大学习率开始训练，且每完成一个子训练周期后逐步增大彩色原始图像并逐步减小学习率；当完成一个子训练周期后生成的3D人体骨骼坐标与其对应的标定数据存在较大出入时，继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行步骤S2；当在完成一个子训练周期后生成的3D人体骨骼坐标达到预期或完成所有预设的子训练周期的次数后，则获得最终结果。

2.根据权利要求1所述的一种基于运动链接空间的对抗性网络估计3D人体姿态的方法，其特征在于，所述3D人体姿态关键节点的损失函数等于：

W(P_r,P_g)+λL_cam

其中，W(P_r,P_g)表示WGAN的损失函数，输入包含两部分，P_g标是一批输入为生成的数据，P_r表示一批输入为真实数据，表示判别为真实3D人体骨骼的损失值，表示判别为生成3D人体骨骼的损失值；||f||_L≤1表示函数f的Lipschitz常数为1，意思就是在要求函数f的Lipschitz常数||f||_L不超过1的条件下，对所有可能满足条件的f取到的上界；L_cam表示摄像头估计网络的损失函数，λ取0～1，trace为计算对应矩阵的迹，|| ||_F为F范数，K∈R^2×3，I₂是2*2的单位矩阵。