[发明专利]图像处理方法、装置、设备及存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

将待处理的音频输入生成式对抗网络的生成器进行2D人脸图像生成，得到所述生成式对抗网络输出的2D人脸图像；

将所述2D人脸图像输入参数估计网络进行三维可变形人脸模型3DMM参数估计，得到所述参数估计网络输出的第一3DMM参数；其中，所述参数估计网络为采用知识蒸馏对预训练网络进行模型压缩得到的，且用于训练得到所述参数估计网络的标注数据是采用所述预训练网络标注的，所述第一3DMM参数用于表示所述三维可变形人脸模型中基于基础脸模型脸部变化的系数；

根据所述第一3DMM参数，构建所述音频对应的3D人脸图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述参数估计网络包括编码器和解码器，所述将所述2D人脸图像输入参数估计网络进行3DMM参数估计，得到所述参数估计网络输出的第一3DMM参数，包括：

通过所述编码器对所述2D人脸图像进行特征提取，得到所述编码器输出的特征图；

通过所述解码器对所述特征图进行3DMM参数估计，得到所述解码器输出的第一3DMM参数。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述根据所述第一3DMM参数，构建所述音频对应的3D人脸图像，包括：

根据所述第一3DMM参数，确定所述3D人脸图像相对基础脸模型的脸部变化；

在所述基础脸模型上，叠加所述脸部变化，得到所述音频对应的3D人脸图像。

4.一种参数估计网络的训练方法，其特征在于，所述参数估计网络为采用知识蒸馏对预训练网络进行模型压缩得到的，所述训练方法包括：

获取第一样本人脸图像；

将所述第一样本人脸图像输入所述参数估计网络进行三维可变形人脸模型3DMM参数估计，得到所述参数估计网络输出的第一3DMM参数；

将所述第一样本人脸图像输入所述预训练网络进行3DMM参数估计，得到所述预训练网络输出的第二3DMM参数为所述参数估计网络的标签；

根据所述第一3DMM参数和所述标签，调整所述参数估计网络的模型参数。

5.根据权利要求4所述的训练方法，其特征在于，所述根据所述第一3DMM参数和所述标签，调整所述参数估计网络的模型参数，包括：

基于第一损失函数，确定所述第一3DMM参数相对所述标签的第一损失值；

根据所述第一损失值，调整所述参数估计网络的模型参数。

6.根据权利要求5所述的训练方法，其特征在于，所述根据所述第一损失值，调整所述参数估计网络的模型参数，包括：

分别从所述预训练网络和所述参数估计网络对应的特征图中提取图像嵌入特征；

根据所述预训练网络对应的图像嵌入特征，确定所述预训练网络的特征之间的第一条件概率；

根据所述参数估计网络对应的图像嵌入特征，确定所述参数估计网络的特征之间的第二条件概率；

基于第二损失函数，确定所述第二条件概率相对所述第一条件概率的第二损失值；

根据所述第一损失值和所述第二损失值，调整所述参数估计网络的模型参数。

7.根据权利要求5所述的训练方法，其特征在于，所述根据所述第一损失值，调整所述参数估计网络的模型参数，包括：

基于第三损失函数，确定所述3DMM参数为锚点时相对锚点的正样本和负样本的第三损失值；

根据所述第一损失值和所述第三损失值，调整所述参数估计网络的模型参数。

8.根据权利要求4至7中任一项所述的训练方法，其特征在于，所述获取第一样本人脸图像，包括：

获取第一样本音频；

将所述第一样本音频输入生成式对抗网络的生成器进行人脸图像生成，得到所述生成器输出的所述第一样本音频对应的第一人脸图像为所述第一样本人脸图像。