[发明专利]一种基于知识引导的人脸属性编辑方法

说明书

该发明公开了一种基于知识引导的人脸属性编辑方法，属于计算机视觉领域。该方法首先选择使用生成对抗网络作为基本框架，融入了一种新颖的注意力机制，并从人脸属性标签库提取了人脸属性关系的知识，构建了基于知识的正则损失项来约束注意力机制的学习。引入人脸属性知识和注意力机制的目的是为了促使生成对抗网络的判别器学习属性之间的关系，能够综合相关属性的影响来更加准确的预测目标属性，从而更好的指导生成器编辑人脸属性。同时，通过引入人脸属性之间的关系约束生成器的学习，使得生成器在改变目标人脸属性时，考虑其他相关人脸属性的变化，以实现更加合理的编辑效果。

技术领域

本发明属于计算机视觉领域，主要用来解决现实生活中人脸属性编辑的问题；主要应用于影视娱乐产业，人机交互以及机器视觉理解等方面。

背景技术

人脸属性编辑的目的是操作给定人脸上的单个或多个属性，在保留其他细节的同时生成具有所需属性的新人脸图像。目前，影视娱乐、人机交互、计算机视觉等领域，对图像的生成与属性编辑的需求越来越大。例如：在艺术创作中，艺术家将想法用文字描述，然后利用生成模型根据文本生成匹配的图像，从而得到参考；在元宇宙虚拟世界中，用户根据喜好控制参数生成人物头像，以实现个性化；在短视频平台中，用户使用平台提供的属性编辑功能来修改视频中人脸的头发颜色，眼睛大小等属性，以获得更有趣味性的使用体验。

人脸属性编辑作为一项典型但有挑战的生成任务，已经被基于生成对抗网络(GAN，Generative Adversarial Networks)的方法所主导。GAN由于具有计算量小，生成图像质量高，模型构造简单等优点，通常被引用到人脸属性编辑任务当中。StarGAN在GAN的基础上引入了编码器-解码器结构，以原始图像以及目标属性向量作为输入来控制GAN编辑图像，解决了多领域转换的问题，在人脸属性编辑任务上取得了突破性的进展。参考文献：He，Z.，Zuo，W.，Kan，M.，Shan，S.，Chen，X.(2019).Attgan：Facial attribute editing byonly changing what you want.IEEE transactions on image processing，28(11)，5464-5478.但由于编码器-解码器结构存在下采样操作，会不可避免地损失一些图片信息，造成编辑后的图像模糊和丢失细节。在编码器-解码器结构的基础上，STGAN融入了选择性转移单元，以同时提高属性编辑能力和编辑图像的质量。参考文献：Liu，M.，Ding，Y.，Xia，M.，Liu，X.，Ding，E.，Zuo，W.，Wen，S.(2019).STGAN：A unified selective transfernetwork for arbitrary image attribute editing.In Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition(pp.3673-3682).PA-GAN和CAFE-GAN分别在生成器和判别器上引入了空间注意力机制，以获得与人脸属性相关的局部区域，并在局部区域内进行属性编辑，提高了属性编辑准确性。参考文献：He，Z.，Kan，M.，Zhang，J.，Shan，S.(2020).Pa-gan：Progressive attention generative adversarialnetwork for facial attribute editing.arXiv preprint arXiv：2007.05892.Kwak，J.G.，Han，D.K.，Ko，H.(2020，August).Cafe-gan：Arbitrary face attribute editingwith complementary attention feature.In European Conference on ComputerVision(pp.524-540).Springer，Cham.