[发明专利]基于VAE-ACGAN的人脸姿态虚拟视图生成方法

摘要

本发明公开了一种基于VAE‑ACGAN的人脸姿态虚拟视图生成方法，构建VAE‑ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类‑生成对抗网络ACGAN，然后分别获取ACGAN训练样本集和VAE训练样本集，采用ACGAN训练样本集对生成器G和判别器D进行训练，然后固定生成器G和判别器D的参数，采用VAE训练样本集对编码器E进行训练，得到训练好的VAE‑ACGAN网络，将需要生成目标姿态角度虚拟视图的人脸图像输入训练好的VAE‑ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。本发明所构建的VAE‑ACGAN网络，对输入图像的姿态变化具有较好的鲁棒性，可以有效提高生成的虚拟视图质量。

主权项

1.一种基于VAE‑ACGAN的人脸姿态虚拟视图生成方法，其特征在于，包括以下步骤：S1：构建VAE‑ACGAN网络，包括编码器E、生成器G和判别器D，其中编码器E和生成器G构成变分自编码器VAE，生成器G和判别器D构成辅助分类‑生成对抗网络ACGAN，编码器E对输入人脸图像进行编码，得到编码噪声的M维特征向量和编码角度的N维特征向量，根据需要设置目标姿态角度的N维特征向量，将噪声的M维特征向量和目标姿态角度的N维特征向量组合得到M+N维特征向量输入至生成器G，生成器G生成目标姿态角度的人脸图像，判别器D对生成器G所生成的人脸图像和目标姿态角度的真实人脸图像进行判别，得到分类角度与判别分数；S2：获取若干目标姿态角度的人脸图像，归一化至生成器G的输出图像大小尺寸，构成ACGAN训练样本集；获取若干目标姿态角度的人脸图像以及相同人脸的其他角度的人脸图像，归一化至生成器G的输出图像大小尺寸，将相同人脸的其他角度的人脸图像作为源图像，对应的目标姿态角度的人脸图像作为目标图像，构成VAE训练样本集；S3：生成M维噪声输入向量和N维角度输入向量，组合得到M+N维输入向量作为生成器G的输入，将ACGAN训练样本集中的人脸图像样本作为判别器D的真实人脸图像，对生成器G和判别器D进行训练；S4：固定生成器G和判别器D的参数不变，将VAE训练样本集中的源图像作为编码器E的输入，目标图像作为判别器D中目标姿态角度的真实人脸图像，对编码器E进行训练，得到训练好的VAE‑ACGAN网络；S5：将需要生成目标姿态角度虚拟视图的人脸图像归一化至生成器G的输出图像大小尺寸，然后输入至训练好的VAE‑ACGAN网络，生成器G生成的人脸图像即为目标姿态角度虚拟视图。