[发明专利]一种基于生成对抗网络的人脸图像样本扩充方法

说明书

一种基于生成对抗网络的人脸图像样本扩充方法。本发明提出一种用于扩充人脸图像样本的方法，解决特定环境下一些遮挡物造成人脸无法得到有效检测的问题。使用该方法生成人脸图像在图像质量与图像丰富程度都有很好的表现，能够对人脸图像样本数据进行有效扩充。通过数据集图像样本扩充使检测模型对遮挡人脸的检测精度提高3％以上，一定程度上提高人脸检测算法能力。既能有效扩充人脸数据样本，提高人脸检测算法能力，又能减少获取训练使用人脸图像的人力物力和时间。

【技术领域】

本发明属于人工智能识别及图像处理技术领域，具体涉及脸部检测数据的图像样本扩充方法。

【背景技术】

近年来，基于深度学习的方法在很多领域取得了良好的表现，这很大程度上依赖于海量的数据推动。在需要人脸检测的任务中，实时实地人脸数据的收集也有相当的难度。并且对遮挡面部的人脸进行数据标注也是一项极为耗费人力与时间的工作。解决遮挡人脸数据集不足，实现人脸数据集扩充是当下需要解决的关键问题。

图像数据集扩充与图像增强工作一直是研究学者努力攻克的领域，无论是传统图像增强方式包括增加噪音、放射变换、裁剪、翻转等，还是使用信息删除方式针对检测工作的方法对深度学习模型鲁棒性的提升都有限。但是在人脸检测工作中，由于人脸的图像像素面积较小，可用的以供增强的有效图像过少，导致大部分图像增强方法并不适用，因此使用更多的人脸图像数据训练人脸检测模型才是更为有效的手段，本发明使用的生成对抗网络进行人脸图像样本扩充方法是较为有效的手段。

【发明内容】

本发明目的是解决传统人脸增强扩充方法增加噪音、放射变换、裁剪、翻转等如因为人脸的图像像素面积较小，特别是部分面积被遮挡情况下无法有效增强扩充，人脸检测模型对这类遮挡人脸图像检测困难的问题，提出一种基于生成对抗网络的人脸图像样本扩充方法。该方法操作流程如图1所示，首先使用需要扩充的人脸数据集训练S-CoderGAN网络，然后使用训练完善S-CoderGAN网络的生成器生成更多遮挡人脸图像，最后使用生成的遮挡人脸图像训练人脸检测模型，提高检测精度。该方法基于深度卷积生成对抗网络(DeepConvolution GAN,DCGAN)对遮挡人脸图像生成任务优化的网络结构，目的是扩充现有人脸数据样本，进一步丰富人脸遮挡图像，提高人脸检测算法的性能。在该网络中加入 S-Coder(Source Coder)原域编码模块实现遮挡元素可控生成并覆盖。并通过修改网络层结构，加入WGAN(Wasserstein GAN)中使用的Wasserstein距离优化网络训练。在此基础上使用周期一致的训练流程，目的是进一步增加网络训练稳定性，提高图像生成质量。将本发明方法生成的图像数据质量与其他GAN网络生成的图像进行主观与定量对比。在此基础上将生成的遮挡人脸数据集送入多种人脸检测算法训练、测试。实验结果表明，通过本发明方法生成的图像质量更好，更加具有实用意义，采用扩充的人脸遮挡数据集可以有效提高人脸检测准确率。

本发明的技术方案

一种基于生成对抗网络的人脸图像样本扩充方法，包含以下步骤：

模块1：使用跳层连接(Skip Connection)的残差结构设计的生成器模块(Generator)；

模块2：在所述生成对抗网络中加入基于独热+编码(One-Hot Encoding)算法构成的 S-coder可控编码模块(S-Coder Module)；

模块3：使用Sigmoid层设计判别网络真假判别子模块，使用Softmax层设计判别网络标签判别子模块，以此两个子模块构建判别器模块(Discriminator)；

步骤3：使用周期一致的训练流程，即S-Coder GAN生成对抗网络中两组生成器组合，将生成图像反向送入结构相同的另一生成器得到重构图像，提高训练稳定性；

步骤4：最后使用训练完成的S-Coder GAN生成对抗网络，生成多种人脸遮挡物的人脸图像样本，得到扩充后的数据集。