[发明专利]基于弱监督学习的三维人脸重建模型建立方法及其应用

说明书

本发明公开了一种基于弱监督学习的三维人脸重建模型建立方法，属于三维人脸重建技术领域，包括：建立用于三维人脸重建的弱监督学习模型，包括：三维人脸重建网络，用于从输入图像提取三维人脸参数；人脸特征提取模型，用于从输入图像提取人脸特征向量；GCN优化解码器，用于根据人脸特征向量对粗纹理参数进行优化，得到精纹理参数；以及三维人脸生成器，用于根据形状参数和精纹理参数生成三维人脸模型；获取人脸图像数据集，对模型进行训练；训练过程中，将模型输出的三维人脸模型渲染为二维人脸图像并计算损失值，对模型进行模型参数优化，以最小化二维人脸图像与输入图像之间的误差。本发明能够提高三维人脸模型的纹理清晰度，可应用于中医面诊。

技术领域

本发明属于三维人脸重建技术领域，更具体地，涉及一种基于弱监督学习的三维人脸重建模型建立方法及其应用。

背景技术

中医诊断是我国中医学专家根据几千年来的临床经验总结出的一套系统的医学理论。“望闻问切”四种方法是中医认识、研究病症的主要途径。作为面诊的重要内容，面诊一直是传统中医诊断学领域研究的重点。面既为脏腑气血之荣、又为经脉汇聚之所。人脸面部的形态、光泽、纹理等特征可以很好地反映人体气血的运行状况，对人体内部器官的健康状况进行表征。但这种传统的面诊方法，一方面严重依赖于中医专家长时间积累的专业知识和临床经验，缺乏客观和量化的评价指标；另一方面受限于医生面诊时的光照、噪声等外部环境，不利于复诊参考和经验分享，严重阻碍了中医诊断学的普及和推广。

随着计算机与人工智能技术广泛应用于医学图像处理、医疗信息系统等诸多领域并发挥重要作用，利用计算机技术对人脸面像进行处理和分析，实现中医面诊过程的自动化、客观化和标准化，是中医面诊的重要研究方向和现代化发展趋势。相较于二维人脸图像，三维人脸图像携带更丰富的个性化特征，具有重要的研究意义和应用前景。

中医面像研究中，实现三维人脸图像重建可以实现更个性化的特征提取及更精确的人脸区域定位，以分析面部特征与对应内部器官的关系。但是，现有的三维人脸重建方法，侧重于重建出人脸的三维形状，但重建出的三维人脸模型的往往存在纹理不清晰的问题，并不适用于中医面诊。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于弱监督学习的三维人脸重建模型建立方法及其应用，其目的在于，有效解决现有的三维人脸重建方法重建出的三维人脸模型纹理不清晰，不适用于中医面诊等依赖于清晰的人脸纹理信息的应用的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于弱监督学习的三维人脸重建模型建立方法，包括：

建立用于三维人脸重建的弱监督学习模型，弱监督学习模型包括：三维人脸重建网络，用于从输入图像提取三维人脸参数，输入图像含有人脸图像，三维人脸参数包括形状参数和粗纹理参数；人脸特征提取模型，用于从输入图像提取人脸特征向量；GCN优化解码器，用于根据人脸特征向量对粗纹理参数进行优化，得到精纹理参数；以及三维人脸生成器，用于根据形状参数和精纹理参数生成三维人脸模型；

获取人脸图像数据集，对弱监督学习模型进行训练；训练过程中，将弱监督学习模型输出的三维人脸模型渲染为二维人脸图像，并基于渲染得到的二维人脸图像与输入图像之间的误差计算损失值，根据所计算的损失值对模型进行模型参数优化，以最小化二维人脸图像与输入图像之间的误差；训练结束后，得到三维人脸重建模型。

进一步地，训练过程中，所使用的损失函数L为：

L＝ε₁[L_p+ε₂L_i]+ε₃L_v

其中，L_p、L_i和L_v分别表示渲染得到的二维人脸图像相对于输入图像的颜色损失、感知损失和顶点损失，ε₁、ε₂和ε₃为用于控制几种损失的权重常数。