[发明专利]图像处理方法、装置、设备及存储介质

说明书

本申请提供一种图像处理方法、装置、设备及存储介质，通过获取待处理的音频；将音频输入生成式对抗网络的生成器进行人脸图像生成，得到生成式对抗网络输出的2D人脸图像；将2D人脸图像输入参数估计网络进行三维可变形人脸模型3DMM参数估计，得到参数估计网络输出的第一3DMM参数；根据第一3DMM参数，构建音频对应的3D人脸图像。通过生成式对抗网络的生成器处理音频，得到2D人脸图像，然后通过参数估计网络对2D人脸图像进行处理，得到第一3DMM参数，基于第一3DMM参数构建音频对应的3D人脸图像，在没有大量成对的3D人脸以及音频数据集的情况下，根据音频构建对应的3D人脸图像，简化3D人脸图像生成方式。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着深度学习的发展及计算机算力的增加，深度学习的应用已渗透至各方面众多相关领域，尤其在图像处理领域的表现突出。在图像处理领域，深度学习一种具体应用体现为根据说话者的音频获得人脸图像。

相关技术中，通常采用有监督学习方式来确定音频对应的人脸图像。但有监督学习需获取大量的成对的音频与三维(three-dimensional，3D)人脸数据的数据集，而该数据集是难以获取的。

发明内容

本申请的实施例提供一种图像处理方法、装置、设备及存储介质。

第一方面，本申请的实施例提供一种图像处理方法，包括：将待处理的音频输入生成式对抗网络的生成器进行2D人脸图像生成，得到生成式对抗网络输出的2D人脸图像；将2D人脸图像输入参数估计网络进行三维可变形人脸模型3DMM参数估计，得到参数估计网络输出的第一3DMM参数，其中，参数估计网络为采用知识蒸馏对预训练网络进行模型压缩得到的，且用于训练得到参数估计网络的标注数据是采用预训练网络标注的，第一3DMM参数用于表示所述三维可变形人脸模型中基于基础脸模型脸部变化的系数；根据第一3DMM参数，构建音频对应的3D人脸图像。

可以看出，在本申请实施例中，先通过生成式对抗网络的生成器对音频进行处理，得到2D人脸图像，然后通过参数估计网络对2D人脸图像进行处理，得到第一3DMM参数，最后基于该第一3DMM参数构建该音频对应的3D人脸图像，实现在没有大量的成对的3D人脸以及音频数据集的情况下，可以根据音频构建对应的3D人脸图像，简化了3D人脸图像生成的方式。另外，基于预训练网络可以从2D人脸图像中蒸馏提取出3D人脸重建的特征知识，使得本申请实施例生成的3D人脸图像中不包含有与音频无关的噪声变化，另外，由于参数估计网络的标注数据是采用预训练网络标注的，使得第一3DMM参数达到最佳，提高了3D人脸图像的准确性。

第二方面，本申请实施例提供一种参数估计网络的训练方法，该参数估计网络为采用知识蒸馏对预训练网络进行模型压缩得到的。训练方法包括：获取第一样本人脸图像；将第一样本人脸图像输入参数估计网络进行三维可变形人脸模型3DMM参数估计，得到参数估计网络输出的第一3DMM参数；将第一样本人脸图像输入预训练网络进行3DMM参数估计，得到预训练网络输出的第二3DMM参数为参数估计网络的标签；根据第一3DMM参数和标签，调整参数估计网络的模型参数。

可以看出，在本申请实施例中，在对参数估计网络进行训练的过程中，将第一样本人脸图像输入预训练网络进行3DMM参数估计，得到预训练网络输出的第二3DMM参数为参数估计网络的标签，可以提升参数估计网络的精度，使得该参数估计网络在根据音频生成3D人脸图像的过程中，确保了生成的3D人脸图像不包含与音频无关的噪声变化。