[发明专利]基于多尺度图卷积神经网络的3D人脸表示与重建方法

权利要求书

1.一种基于多尺度图卷积神经网络的3D人脸表示与重建方法，其特征是，构建基于深度卷积的变分生成网络，利用变分编码器神经网络学习3D人脸的高维表示以及重建；利用变分编码器的生成能力来生成更多类型的3D人脸数据；然后使用变分解码器将高维特征解析成面部三角网络模型Mesh，实现人脸3D重建。

2.如权利要求1所述的基于多尺度图卷积神经网络的3D人脸表示与重建方法，其特征是，深度卷积的变分生成网络采用了图卷积算法和mesh采样算法，其编码器里每层包括了图卷积、批规范化、ReLU激活函数和mesh下采样，解码器里每层包括了mesh上采样、图卷积、批规范化和ReLU激活函数。

3.如权利要求1所述的基于多尺度图卷积神经网络的3D人脸表示与重建方法，其特征是，变分生成网络是一个深度卷积网络，包含图卷积算法、Mesh下采样算法以及网络结构，具体如下：

1)图卷积算法

使用动态滤波卷积层来处理网格数据，学习从邻域到滤波器权重的映射，并考虑网格固有特征，具体地，网络层输入是一个特征向量x_i对应于一个顶点i∈{1,…,n}，输出也是矢量y_i：

公式解析：N_i是Mesh中顶点的邻居顶点集合i，是算法中的正边缘权重，会将m个特征值归一化为1，这会使得特征空间中权重的平移不变性，当使用原始空间3D坐标作为形状网格的输入特征时，平移不变性的特征具有更好的训练效果，b，W_m，t_m和c_m都是可训练参数，M是人工设定的超参数；

2-2)Mesh下采样算法

使用使用置换矩阵P_d∈{0,1}^k×n来进行快速的下采样，将一个具有n个顶点的Mesh下采样到k个顶点，n<k，P_d(p，q)表示的是第q个顶点是否在下采样中保留，为1的话就保留，为0就舍弃，下采样算法使用二次矩阵来迭代收缩顶点对；上采样就是下采样的逆过程，将一个具有k个顶点的Mesh上采样到n个顶点，n<k，使用上采样置换矩阵P_u∈R^n×k，上采样的过程是将在下采样过程中丢弃的顶点vq重新添加到下采样网格中，即将V_q映射到下采样网格中的最接近的三角形(h，i，j)，并计算重心坐标使用v＝w_hv_h+w_iv_i+w_jv_j，v_hv_iv_j∈V_d顶点集合，并且w_h+w_i+w_j＝1，P_u中权重设置是P_u(q，h)＝w_h，P_u(q,i)＝w_i，P_u(q，j)＝w_j；

2-3)网络结构

网络分为编码器和解码器部分，编码器由6个图卷积组成，特征数量设定为(16,32,64,96,128,256)，每层都是用了批规范化以及ReLU激活函数，每层卷积都采用下采样，倍率分别为[2,2,2,4,4,4]，编码器的每层输特征维度为2512×16,1256×32,628×64,157×96,40×128,and10×256，最后一层将特征映射到128维度的潜层空间；解码器首先使用一个全连接层将128维度的特征映射到Mesh空间，接着是6层的图卷积，每层图卷积都是用了批规范化和ReLU激活函数，上采样倍率为[4,4,4,2,2,2]，整个解码器部分相当于编码器的逆过程；每层的输出特征维度为40×128,157×96,628×64,1256×32,2512×16,and 5023×3，编码器生成的128维度特征会和高斯分布的数据进行Kullback-Leibler变分损失函数的计算，以使得编码器生成的数据尽可能逼近高斯分布空间。