[发明专利]基于多尺度图卷积神经网络的3D人脸表示与重建方法

说明书

本发明属于计算机视觉和计算机图形学领域，为实现对3D人脸数据进行有效的高维特征表示，以及具备从高维特征进行有效重建的能力，本发明采用的技术方案是，基于多尺度图卷积神经网络的3D人脸表示与重建方法，构建基于深度卷积的变分生成网络，利用变分编码器神经网络学习3D人脸的高维表示以及重建；利用变分编码器的生成能力来生成更多类型的3D人脸数据；然后使用变分解码器将高维特征解析成面部三角网络模型Mesh，实现人脸3D重建。本发明主要应用于3D人脸重建、身份识别等场合。

技术领域

本发明属于计算机视觉和计算机图形学领域，特别涉及使用深度学习的方法去表示3D人脸与重建。

背景技术

人脸在身份识别，信息传递和情感表达中起着关键作用。特定面部的有效表示和重建对于创建个性化人物形象，3D打印和面部动画非常重要，其在电影，计算机游戏，增强现实(AR)和虚拟现实(VR)中具有广泛的应用。然而，由于受到年龄、性别、种族等诸多因素的影响，人脸形状变化很大，并且表情变形显着。因此，难以有效地表示和重建这种非线性变形。

传统方法使用激光扫描仪或深度相机来使用基于融合的方法重建3D面部(R.A.Newcombe et al.,“KinectFusion:Real-time dense surface mapping andtracking，”in Proc.IEEE International Symposium on Mixed and AugmentedReality,2011,pp.127–136.)，但它们无法实现动画，编辑和生成。为了解决这个问题，许多工作提出了参数化人脸模型(Volker Blanz and Thomas Vetter,“A morphable modelfor the synthesis of 3D faces,”in CGIT，1999,pp.187–194.)和混合形状(John PLewis,Ken Anjyo,Taehyun Rhee，Mengjie Zhang,Frederic H Pighin,and ZhigangDeng,“Practice and theory of blendshape facial models,”in Eurographics(Stateof the Art Reports),2014.)来表示面部形状和表情，并且有几种方法使用这些模型从扫描的深度网格中成功地重建了面部形状(Pei-Lun Hsieh,Chongyang Ma,Jihun Yu，andHao Li,“Unconstrained realtime facial performance capture，”in CVPR，2015，pp.1675–1683.)。然而，使用线性表示的重建形状通常是平滑的而没有丰富的细节。综上，对3D面部进行高效且准确的表示以及重建是比较重要的，将为面部识别、身份验证等方向提供技术支持。

发明内容

为克服现有技术地不足，实现对3D人脸数据进行有效的高维特征表示，以及具备从高维特征进行有效重建的能力，本发明采用的技术方案是，基于多尺度图卷积神经网络的3D人脸表示与重建方法，构建基于深度卷积的变分生成网络，利用变分编码器神经网络学习3D人脸的高维表示以及重建；利用变分编码器的生成能力来生成更多类型的3D人脸数据；然后使用变分解码器将高维特征解析成面部三角网络模型Mesh，实现人脸3D重建。

深度卷积的变分生成网络采用了图卷积算法和mesh采样算法，其编码器里每层包括了图卷积、批规范化、ReLU激活函数和mesh下采样，解码器里每层包括了mesh上采样、图卷积、批规范化和ReLU激活函数。

变分生成网络是一个深度卷积网络，包含三个部分，图卷积算法、Mesh下采样算法以及网络结构，具体如下：

1)图卷积算法

使用动态滤波卷积层来处理网格数据，学习从邻域到滤波器权重的映射，并考虑网格固有特征，具体地，网络层输入是一个特征向量x_i对应于一个顶点i∈{1,…,n}，输出也是矢量y_i：