[发明专利]一种离散特征驱动的盲人脸图像丢失细节重建方法

权利要求书

1.一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，包括以下步骤：

S1：人脸数据集预处理；

S2：训练量化自编码器以获得上下文丰富的离散码本；

S3：进行局部特征提取，局部特征与位置编码共同输入Transformer编码器获取图像的全局特征，并对全局特征进行特征重表示，接着对重表示特征利用离散码本进行量化，在利用Transformer解码器进行特征补全，最后输入到解码器进行图像重建。

2.如权利要求1所述的一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，所述S2包括：

S201：将S1预处理得到的高清人脸图像I_hq输入到图像编码器以获取该图像对应的特征Z_h；

S202：将特征Z_h中的每个“像素”替换为可学习码本中距离最小的特征，得到量化后的特征Z_c，将量化后的特征Z_c输入到解码器重建得到输出I_out；

S203：对重建后的输出I_out和对应的原高清图像计算损失函数，反向传播更新模型参数；

按照设定的迭代次数和批大小重复上述S201-S203，期间每经过10000次迭代并在预处理的验证集验证并保存模型；

保存上述训练完成后得到离散码本。

3.如权利要求2所述的一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，所述S2先构建包括图像编码器和图像解码器的一阶段网络模型；

输入高清人脸图像I_hq输入到图像编码器，获取该图像对应的特征Z_h，量化后的特征Z_c，如下式：

其中，i,j分别为特征的行数和列数，用i,j表示二维空间的其中一个特征，c_k为离散码本中的一个离散特征。

4.如权利要求2所述的一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，所述S2的损失函数包括重建损失、感知损失、对抗损失和码本损失；损失函数如下式：

L_total＝L_pix+L_per+L_adv+L_code

各个损失函数如下所示，其中，β＝0.25：

L_pix＝||I_hq-I_out||₁

L_per＝|φ(I_hq)-φ(I_out)||₁

L_adv＝logD(I_hq)+log(1-D(I_out))