[发明专利]基于多尺度变分图卷积的三维可变形物补全方法

说明书

本发明属于计算机视觉领域，为实现三维人脸等的补全，更好地表示人脸模型。本发明基于多尺度变分图卷积的三维可变形物补全方法，步骤如下：步骤一，模型构建；步骤二，可变形物补全：利用训练得到的多尺度网格变分编解码器中的解码器部分，通过迭代调整隐变量空间中的向量使得解码器输出的可变形物网格与残缺的可变形物网格中的对应点尽可能接近，以此实现可变形物补全。主要应用于可变形物模型补全场合。

技术领域

本发明属于计算机视觉领域，尤其是涉及一种对缺失的三维人脸模型进行补全的技术。

背景技术

人脸在身份识别、信息传递和情感表达中起着关键作用。精确的三维重建对于创建个性化的虚拟人物、三维打印和人脸动画非常重要，在电影、计算机游戏、增强现实(AR)和虚拟现实(VR)中有广泛的应用。其中，三维人脸模型主要包括体素模型、点云模型、网格模型。然而，人脸的形状复杂多变，很难精确重建。

一种精确的面部重建方法是使用激光扫描，但它非常昂贵并且需要大量的人工干预。为了实现自动重建，很多研究小组已经建立了多摄像系统，分别是：furukawa2009密集型、ghosh2011多画面型、fyffe2014驾驶型。虽然这种方法产生了高质量的重建结果，但由于成本高、维护复杂、缺乏可移植性，导致这类系统的实际应用受到限制。

深度照相机(如Microsoft Kinect)的出现，使得获取人脸的几何信息更加便宜方便。基于融合的方法，可以生成完整的人脸模型，但很难实现高质量的人脸重建。这种轻型捕获系统需要新的高质量先验来更好地约束不适定的问题。此外，上述方法都不能实现人脸动画、编辑和生成。

多个研究小组(Blanz，Booth，Li等)使用参数化人脸模型来表示人脸形状和表情，并用这些模型成功地从扫描的深度网格重建人脸形状。然而，使用线性表示导致重建形状略显平滑，缺少丰富的细节。为了得到更好的人脸表示模型，Ranjan等使用包含20466个高分辨率网格和面部表情的数据集，通过谱卷积来学习人脸的非线性表示模型。这种方法使用谱滤波将卷积网络推广到不规则的图结构数据中，但是由于全局分解在不同的图中不稳定，不适合真实的图形。

人脸作为一个可变形的形状，当网格某些部分缺失时，很难进行补全从而完成重建工作。现有的方法大多是利用体素卷积神经网络(Volumetric Convolutional NeuralNetworks)来补全人造刚性物体。然而，这种欧几里得卷积运算基于刚性变换下的自相似性假设，不适用于非刚性形变。Litany等通过直接开发3D网格结构，采用CNN在图形学上的最新进展来实现形状补全。但该方法所完成的网格缺乏几何细节，在手等精细部位存在瑕疵。

发明内容

为克服现有技术的不足，本发明旨在：

1)更好地表示人脸模型，针对三维人脸等的生成和重建提出一种多尺度网格变分自编码器(VAE)模型。

2)实现三维人脸等的补全，提出潜在空间中的一种优化方法，该方法通过迭代优化隐变量空间中的向量，使得解码器随机生成的形状与输入对齐，从而实现人脸的补全。

为此，本发明采取的技术方案是，基于多尺度变分图卷积的三维可变形物补全方法，步骤如下：

步骤一，模型构建：

首先将3D的可变形物网格视为点和边的集合F＝(V，N)，其中|V|＝n代表3D欧几里得空间中的n个顶点的集合，邻接矩阵N是每个顶点与相邻点边的集合，构建模型分为两个部分，编码器与解码器，编码器将3D网格F编码到隐变量空间中的向量z＝E(F)，解码器将隐变量空间中的向量解码为3D网格F＝D(z)，使用动态滤波器卷积层来处理网格数据，如公式(1)所示：