[发明专利]人脸修复模型的训练方法、修复方法、装置、设备和介质

权利要求书

1.一种人脸修复模型的训练方法，其特征在于，包括：

获取第一画质人脸图像和第二画质人脸图像的样本对，其中，所述样本对的第二画质人脸图像作为监督图像；

将所述样本对的第一画质人脸图像输入人脸修复模型进行训练；其中，所述人脸修复模型为U-net模型，所述U-net模型包括至少两级下采样卷积层和至少两级上采样卷积层，各所述卷积层之间采用残差单元连接，用于计算前级卷积层输出结果的残差结果并作为后级卷积层的输入；

基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系；

如果确定所述至少两种损失关系不满足设定收敛要求，则调整所述人脸修复模型的模型参数并继续进行训练，直至确定所述至少两种损失关系满足设定收敛要求，则确定所述人脸修复模型训练完成。

2.根据权利要求1所述的方法，其特征在于，基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系之前，还包括：

将所述至少两个损失函数进行加权组合，以确定总损失函数；

相应的，基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系包括：

基于所述总损失函数计算所述人脸修复模型的输出图像与所述监督图像之间的损失值，于表示所述至少两种损失关系。

3.根据权利要求1或2所述的方法，其特征在于，所述损失函数包括下述至少两类：均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数。

4.根据权利要求1所述的方法，其特征在于，将所述样本对的第一画质人脸图像输入人脸修复模型进行训练之前，还包括：

将所述样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。

5.根据权利要求4所述的方法，其特征在于，将所述样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理之前，还包括：

获取第二画质图像，并将所述第二画质图像进行压缩退化处理，以获得退化第一画质图像；

将所述退化第一画质图像和所述第二画质图像作为去压缩样本对，输入去压缩模型进行训练。

6.根据权利要求5所述的方法，其特征在于，获取第二画质图像，并将所述第二画质图像进行压缩退化处理，以获得退化第一画质图像包括：

对第二画质视频采用设定值的固定码率系数进行压缩处理；

从所述第二画质视频中抽取设定数量的帧作为所述第二画质图像，并从压缩处理后的视频中抽取设定数量的对应帧作为所述退化第一画质图像。

7.根据权利要求1或4所述的方法，其特征在于，获取第一画质人脸图像和第二画质人脸图像的样本对包括：

获取第二画质人脸图像；

将所述第二画质人脸图像进行质量退化处理，以形成所述第一画质人脸图像。

8.根据权利要求1所述的方法，其特征在于，所述样本对中还包括人脸图像关键点特征。

9.根据权利要求8所述的方法，其特征在于，将所述样本对的第一画质人脸图像输入人脸修复模型进行训练包括：

将所述样本对中的人脸图像关键点特征作为第四个通道特征，与第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入所述人脸修复模型进行训练；其中，所述人脸图像关键点特征为人脸关键点坐标的数组。

10.根据权利要求8所述的方法，其特征在于，获取第一画质人脸图像和第二画质人脸图像的样本对之后，还包括：

将所述第一画质人脸图像输入关键点提取模型进行识别，以确定所述第一画质人脸图像中的人脸图像关键点特征。