[发明专利]基于VAE-ACGAN的人脸姿态虚拟视图生成方法

说明书

本发明公开了一种基于VAE‑ACGAN的人脸姿态虚拟视图生成方法，构建VAE‑ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类‑生成对抗网络ACGAN，然后分别获取ACGAN训练样本集和VAE训练样本集，采用ACGAN训练样本集对生成器G和判别器D进行训练，然后固定生成器G和判别器D的参数，采用VAE训练样本集对编码器E进行训练，得到训练好的VAE‑ACGAN网络，将需要生成目标姿态角度虚拟视图的人脸图像输入训练好的VAE‑ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。本发明所构建的VAE‑ACGAN网络，对输入图像的姿态变化具有较好的鲁棒性，可以有效提高生成的虚拟视图质量。

技术领域

本发明属于机器学习技术领域，更为具体地讲，涉及一种基于VAE-ACGAN的人脸姿态虚拟视图生成方法。

背景技术

生物特征识别技术通过提取人体的生物特征进行身份鉴别，常用的生物特征有包括指纹、人脸、虹膜、静脉等。与其他的生物特征相比，人脸以其稳定性、易推广、易被用户接受和唯一性等优点受到越来越多人的关注和研究。从而被广泛应用在各个领域中。虽然该技术在理想可控的环境下，有较好的研究成果，但是在不可控的真实自然环境中，识别的精度下降较为明显。姿态变化是人脸识别中最为常见且造成识别率下降的直接因素。针对姿态变化的研究也是目前人脸识别领域的重难点。因此，对多姿态人脸的识别算法研究具有巨大的现实意义和实用价值。

多姿态人脸识别算法中，人脸的姿态变化会导致识别率的下降，主要是因为当人脸发生偏转、或者俯仰时，会导致正面人脸的信息缺失，从而影响算法的识别性能。针对该问题，除了早期的传统方法如基于二维图像的多姿态人脸识别算法之外，也涌现了很多基于图像三维重建的算法以及基于深度学习的方法。目前主流的方法大多是基于姿态校正和虚拟多姿态视图实现的多姿态人脸识别。

在目前已有的多姿态虚拟视图生成算法中，大多是通过单张样本生成多张虚拟人脸样本，其主要难点在于生成的虚拟样本存在模糊、畸变且对输入图像的姿态变化没有鲁棒性。为了解决该问题，国内外的研究方向大概分为两个方向：一是基于函数映射的方法，该方法通过函数计算姿态变化前后的人脸图像像素的位置，从而生成多姿态的人脸，这种方法实现简单但生成的姿态与真实姿态存在一定的偏差。而是基于3D建模的方法，通过正面人脸图像建立三维模型，然后经过旋转、投影等处理实现虚拟视图的生成。虽然该方法在一定条件下能提升多姿态人脸识别的性能，但是重建模型耗时较长且实时性较差，当待识别对象的偏转角度过大时，脸部信息缺失导致虚拟样本的生成质量不高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于VAE-ACGAN的人脸姿态虚拟视图生成方法，将变分自编码器VAE和辅助分类-生成对抗网络ACGAN进行结合，构建VAE-ACGAN网络，提高生成的虚拟视图质量。

为了实现以上发明目的，本发明基于VAE-ACGAN的人脸姿态虚拟视图生成方法包括以下步骤：

S1：构建VAE-ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类-生成对抗网络ACGAN，编码器E对输入人脸图像进行编码，得到编码噪声的M维特征向量和编码角度的N维特征向量，根据需要设置目标姿态角度的N维特征向量，将噪声的M维特征向量和目标姿态角度的N维特征向量组合得到M+N维特征向量输入至生成器G，生成器G生成目标姿态角度的人脸图像，判别器D对生成器G所生成的人脸图像和目标姿态角度的真实人脸图像进行判别，得到分类角度与判别分数；

S2：获取若干目标姿态角度的人脸图像，归一化至生成器G的输出图像大小尺寸，构成ACGAN训练样本集；获取若干目标姿态角度的人脸图像以及相同人脸的其他角度的人脸图像，归一化至生成器G的输出图像大小尺寸，将相同人脸的其他角度的人脸图像作为源图像，对应的目标姿态角度的人脸图像作为目标图像，构成VAE训练样本集；