[发明专利]一种基于无监督领域自适应的三维人体姿态估计方法

摘要

本发明公开了一种基于无监督领域自适应的三维人体姿态估计方法，步骤如下：设计一种无监督基于领域自适应方法的深度学习框架；在虚拟生成的深度图像数据集上训练神经网络模型，并将领域知识编码到神经网络模型中；将包含领域知识的神经网络模型迁移到RGB图像领域；在RGB图像数据集上利用迁移的领域知识以无监督的方式进行训练，得到能够从RGB图像中估计三维人体姿态的神经网络模型；将测试数据输入到训练得到的最佳参数模型中，得到预测的三维人体姿态。本发明方法能够在没有三维人体姿态真实值的RGB图像数据集上训练三维人体姿态估计模型，并得到准确的三维人体姿态估计结果。

主权项

1.一种基于无监督领域自适应的三维人体姿态估计方法，其特征在于，包括如下步骤：/n(1)获取三维人体姿态数据集，包括以下子步骤：/n(1.1)从虚拟生成的深度图像数据集中获取包含人体的虚拟深度图像、人体部位分割图、二维人体姿态真实值、三维人体姿态真实值；/n(1.2)从RGB图像数据集中获取包含人体的RGB图像、三维人体姿态真实值；/n(1.3)将RGB图像数据集划分为训练集和测试集；/n(2)设计基于无监督领域自适应的深度学习神经网络框架，包括以下步骤：/n(2.1)设计分别以深度图像、人体部位分割图和RGB图像作为输入的姿态估计器模块，其模型结构由卷积神经网络构成，分为编码器和解码器两个部分，编码器对输入的图像进行特征提取，解码器将提取的特征解码为关节点体素热力图，由体素热力图可以得到预测的二维人体姿态和三维人体姿态；/n(2.2)设计从二维人体姿态生成人体部位分割图的分割模块，其模型结构由反卷积神经网络构成，反卷积神经网络的输入是二维人体姿态和关节点体素热力图预测的每个关节点的深度值，输出是预测的人体部位分割图和每个部位的深度值；/n(2.3)设计用于将提取特征进行领域分类的领域分类器模块，其模型结构由梯度反转层和softmax层构成，输入是不同输入的姿态估计器的中间层特征，输出是输入特征被分类为哪一个领域，梯度反转层的作用是将由分类损失计算的梯度值进行反转，迫使姿态估计器学习出无法被区分领域的特征；/n(3)在虚拟生成的深度图像数据集上，使用步骤(2)设计的深度学习神经网络框架，训练神经网络模型，将领域知识编码到神经网络模型中，具体步骤如下：/n(3.1)将深度图像I