[发明专利]人脸校准方法及设备

说明书

本发明的目的是提供一种人脸校准方法及设备，本发明的聚合体系结构与分层和迭代融合功能密切相关。本发明提出了一种新颖的聚合回归网络，该网络可以更好地提取跨渠道和分辨率的语义和空间信息的全谱。本发明的网络由一个编码器和一个解码器组成，它们通过一系列嵌套的残差卷积块相连。本发明门设计了解码器中每个降采样操作之后剩余的顶点数，以及编码器中每个卷积块之后的特征图大小，以使它们彼此相等。因此，本发明通过不同的特征级别实现了从2D图像特征到3D网格特征的体积回归。

技术领域

本发明涉及计算机领域，尤其涉及一种人脸校准方法及设备。

背景技术

在多年的研究中，人脸对齐和3D人脸重建是计算机视觉和图形学中两个开放的相关问题。面部对齐通常用作大多数面部图像任务(例如面部识别和面部表情或姿势分析)的重要先决步骤，目的是定位某些2D面部关键点。

但是，诸如遮挡，大姿势和极端照明之类的问题使得很难检测到脸部界标。研究人员开始探索过去几十年来2D界标与3D形状之间的强相关性，从而通过3D人脸重建来协助人脸对齐。自3D变形模型(3DMM)于1999年问世以来，提出了基于该模型从2D面部图像恢复3D面部网格的方法，该方法可提供3D面部重建和密集的面部对齐结果。3DMM是从高质量人脸扫描中学到的人脸几何形状和纹理的仿射参数模型。它是基于PCA的实现，可以通过线性基础的组合来生成新的形状实例。

在过去的两年中，人们开始使用卷积神经网络(CNN)从图像中回归3DMM的参数。其他研究人员通过训练CNN来学习变换参数，该参数在变换后的2D图像和输入图像之间以可区分的渲染层和自监督策略进行协作。诸如之类的方法将3D人脸坐标与2D表示(投影坐标码(PNCC)，量化共形)进行回归映射，或者用保形贴图UV位置图来表示3D人脸信息。尽管这些方法可以通过2D表示回归3D几何信息，但是它们仍然将噪声引入到原始样本中，因此这些方法取决于2D表示的能力。图卷积网络(GCN)可以处理非网格状数据，例如3D面网格，并且可以直接在网格上进行卷积而无需2D表示，这可以减少信息损失。CoMA提出了一种网格自动编码器，以学习3D面部表面上的非线性表示并通过GCN重建3D面部网格。

CoMA提出了一种自动编码器结构网络，该网络将图像编码为潜在的嵌入向量，然后通过GCN解码为3D人脸网格。但是，在编码的下采样过程中，人脸图像的某些内容信息将丢失，并且只通过潜在的嵌入向量并不能充分体现高级语义信息和2D人脸的低层特征。

发明内容

本发明的一个目的是提供一种人脸校准方法及设备。

根据本发明的一个方面，提供了一种人脸校准方法，该方法包括：

获取2D人脸照片；

对所述2D人脸照片进行正常卷积操作，得到中间层的特征图；

对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标。

进一步的，上述方法中，对所述2D人脸照片进行正常卷积操作，得到中间层的特征图，包括：

采用编码器对所述2D人脸照片进行正常卷积操作，得到中间层的特征图，所述编码器的结构包括6个聚合块和两个完全连接层，其中，

每个聚合块包含一系列残差卷积块，其中，每个残差卷机块有3个具有残差连接的卷积层，将Batch Normalization层和Leaky Relu作为激活函数，每个残差卷机层的滤波器的内核大小为3且跨度为1，输入的2D人脸照片经过每个聚合块之后，特征图的大小将减小一半；然后应用两个完全连接层来构造256×1尺寸的嵌入向量。

进一步的，上述方法中，对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标，包括：