[发明专利]一种基于深度特征解耦的可控人体形状补全方法

说明书

本发明公开了一种基于深度特征解耦的可控人体形状补全方法，其特点是利用神经网络的特征提取能力分别从破损人体形状和一组骨架关节点重建人体的完整体型和姿势特征，并通过模型训练方式和损失函数的设计进行可控人体形状补全，具体包括：1）根据输入的破损人体形状重建完整人体体型特征；2）根据输入的骨架关节点集重建或根据高斯噪声向量生成完整人体姿势特征；3）根据重建的完整人体体型和姿势特征合成姿势可控的人体形状补全结果等步骤。本发明与现有技术相比具有快速准确的补全与重建，补全结果可控的特点，大大降低对补全模型的鲁棒性要求，将人体形状补全任务转化为刚体补全任务，方法简便，补全效果好。

技术领域

本发明涉及计算机人体形状处理技术领域，具体地说是一种基于深度解耦特征的可控人体形状补全方法。

背景技术

作为计算机多媒体技术的重要组成部分，人体形状建模受到较为广泛的关注。随着3D形状获取设备的性能发展，3D形状可以直接从现实世界中进行捕获，但由于受到物体遮挡、拍摄角度、设备精度等客观条件的限制，捕获到的3D形状往往是残缺的，这些残缺的形状需要经过一定程度的补全处理才能满足下游任务的需求。近年来，深度学习技术强大的函数拟合能力使其在众多领域具有较好的应用前景，其通过简单函数的多层嵌套和基于损失函数优化的有监督训练机制实现对输入数据的强大特征提取性能。但是，直接通过有监督训练得到的深度学习模型提取到的数据特征通常是混杂且不可解释的。

现有技术地形状补全方法主要针对刚体形状设计，且对输入形状破损程度的容忍度较低，一般要求输入形状保留一定程度的形状骨架。相比刚体，针对非刚体尤其是人体形状的补全方法较为少见，人体作为可变形体，其最大的特点是千姿百态而没有固定的基准形状，这种特性使其蕴含的先验信息少于刚体，因此对补全方法的性能提出更高要求。同时，当输入人体形状的某个较大连续区域缺失时，理论上无法从剩余区域中直接推断唯一确定的补全结果，此时需要引入额外的信息辅助进行补全。

近年来，深度学习技术强大的函数拟合能力使其在众多领域具有较好的应用前景，其通过简单函数的多层嵌套和基于损失函数优化的有监督训练机制实现对输入数据的强大特征提取性能。但是，直接通过有监督训练得到的深度学习模型提取到的数据特征通常是混杂且不可解释的。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于深度特征解耦的可控人体形状补全方法，采用深度特征解耦学习的方法，实现在体型和姿势特征相互解耦的特征空间中完成补全，充分利用神经网络的强大特征提取能力，分别从破损人体形状和一组骨架关节点，重建人体的完整体型和姿势特征，使人体形状补全任务转化为刚体补全任务。该方法通过独特的模型训练方式和损失函数设计，使得深度学习模型提取到训练时预先指定的语义特征，大大降低对补全模型的鲁棒性要求。

本发明的目的是这样实现的：一种基于深度特征解耦的可控人体形状补全方法，其特点是该方法主要包括f、e、d和h四个神经网络，其中神经网络f用于从破损形状中重建人体形状的完整体型特征；神经网络e和d用于从一组可控的骨架关节点还原或从高斯噪声向量中生成人体的完整姿势特征，神经网络e用于将骨架关节点集映射到过渡特征空间中的一个点，神经网络d用于将该点坐标或一个高斯噪声向量映射到完整的人体姿势特征；最后利用一个预训练的人体形状合成神经网络h，根据两种特征合成姿势可控的人体形状补全结果，该方法包括以下步骤：

1)重建完整人体体型特征

根据输入的破损人体形状重建完整人体体型特征，设矩阵X为输入的一个破损人体形状数据，其行数为输入形状的点数、列数为3，每行记录一个点的三维坐标，将其输入一个体型特征重建神经网络f，所述重建神经网络f包含1个多层感知机神经网络和一个全局平均池化层，设输出为下述I式表示重建的人体体型特征向量为α_s：

α_s＝f(X,Θ)＝p(m_f(X,Θ_k,Θ_b)), (I)；