[发明专利]一种离散特征驱动的盲人脸图像丢失细节重建方法

说明书

本发明公开一种离散特征驱动的盲人脸图像丢失细节重建方法，涉及盲人脸修复技术领域。本发明一阶段采用预处理得到的高清和退化人脸图像，通过构建网络模型，量化了图像特征并通过训练得到上下文丰富的离散码本，以作为二阶段的输入，从而改进网络表现力以及提升抗退化的鲁棒性；二阶段通过将预处理得到的退化人脸图输入到编码器进行局部特征提取，然后将局部特征和位置编码共同输入Transformer编码器获取图像的全局特征，然后利用特征重表示模块对全局特征进行特征重表示；接着将重表示特征用预训练好的码本进行量化，然后将全局特征和量化后的特征共同输入到Transformer解码器进行特征补全，最后输入到解码器进行图像重建，得到图像。

技术领域

本发明涉及一种离散特征驱动的盲人脸图像丢失细节重建方法，涉及盲人脸修复技术领域。

背景技术

盲人脸修复(blind face restoration)是从低质量的人脸中恢复出高质量人脸的过程；这些质量较低的肖像图可能由各种原因导致退化，如低分辨率，噪音，模糊或是被压缩。

现有盲人脸修复方法大部分都是基于卷积神经网络设计的。由于卷积的设计是局部连接的，在处理图像信息时无法捕捉到图像的长距离依赖信息，且多项研究表明卷积神经网络的实际感受野远小于理论感受野，因此不利于充分利用图像的上下文信息进行特征提取。由于人脸是高度结构化的，因此可以利用人脸的几何先验进行盲人脸修复，例如YuChen等FSRNet：End-to-end learning facesuper-resolutionwith facial priors.InCVPR引入了面部标志，Chaofeng Chen等Progressivesem antic-aware styletransformation for blind face restoration.In CVPR和Lingbo Yang等HiFaceGAN：Face renovation via collaborative suppression and replenishment.InACM MM提出面部解析图，XinYu等Face super-resolution guided by facial componentheatmaps.In ECCV提出面部组件热图。

然而，这些方法事先无法从退化人脸中获取准确的信息，并且几何先验并不能够提供人脸丰富细节。此外还有基于参考先验的方法，这些方法通常要求参考与输入的退化人脸具有相同的身份；Xiaoming Li等Learning warpedguidance for blindfacerestoration.In ECCV提出了一种引导式的人脸修复网络，该网络由一个扭曲子网和一个重建子网组成，以及与输入具有相同身份的高质量引导图像用于更好地修复面部细节。然而，这样的参考并不总是可用的。Xiaoming Li等Blind face restoration via deepmulti-scale component dictionaries.In ECCV预构建了由高质量面部组件组成的字典特征，但是特定于组件的字典特性是仍然不足以进行高质量的人脸修复，尤其是字典范围之外的区域，例如，皮肤、头发等。ZhouxiaWang等RestoreFormer：High-quality blindface restoration from undegraded key-value pairs.In CVPR和S.Zhou等Towardsrobust blind face restoration with codebook lookup transformer，arXiv preprint探索了一个预先学习好的HQ字典或码本，字典中包含了更加通用且丰富的细节用于人脸修复，但是仅仅对HQ字典或者码本的完善依旧无法解决细节信息丢失的问题。