[发明专利]一种大规模人脸数据集的双阶段噪声清洗方法

说明书

本发明公开了一种大规模人脸数据集的双阶段噪声清洗方法，本发明采用双阶段策略，让网络在训练过程中自发地检测闭集噪声样本和开集噪声样本，最终对闭集噪声样本进行重利用，对开集噪声样本从训练集进行删除。采用本发明方法清洗数据集后，训练出的模型的效果相比未清洗数据集来说在lfw精度上也大大的提高了,经统计可以正确识别出90%以上的噪声，实现非常好的噪声识别效果。清洗后的数据集上的模型训练结果，也大大优于未清洗的数据集上的训练结果，在常见的测试集,如LFW，Age‑DB，cfp‑fp上都证明了这一点。

技术领域

本发明涉及人脸数据集噪声清洗技术领域，具体涉及一种大规模人脸数据集的双阶段噪声清洗方法。

背景技术

人脸中的噪声是指在收集制作人脸数据集的时候，产生的带有错误标签的样本。人脸数据集中的噪声包括开集噪声和闭集噪声。闭集噪声又称标签翻转，例如本属于类A的样本被打上了类B的标签；开集噪声样本，其本身不属于训练集中的任何一个类别，但也被打上了训练集某个类的标签。

噪声数据是大规模人脸数据集中不可避免的现象。现今流行的人脸数据集的规模已经达到了千万级别。如果全部人脸数据都使用人工进行清洗，极其花费时间与金钱，而且也不能完全消除噪声。噪声样本会严重损坏所训练模型的性能，因此，亟需一种能针对大规模人脸数据噪声，提供有效、高识别率的清洗方法。

发明内容

为解决现有技术中存在的问题，本发明提供了一种大规模人脸数据集的双阶段噪声清洗方法，采用双阶段策略，让网络在训练过程中自发地检测闭集噪声样本和开集噪声样本，最终对闭集噪声样本进行重利用，对开集噪声样本从训练集进行删除，解决了上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种大规模人脸数据集的双阶段噪声清洗方法，包括如下步骤：

S1、构建初始人脸数据集D1；

S2、检测数据集D1中的闭集噪声样本及对应的真实类别，输出含有闭集噪声的闭集噪声list文件；

S3、完成闭集噪声的重利用，生成数据集D2；

S4、将数据集D2作为输入继续进行训练，输出含有开集噪声的开集噪声list文件；

S5、根据步骤S4中的开集噪声list文件将数据集D2中的开集噪声进行删除，最终生成清洗后的干净数据集。

优选的，所述步骤S1的初始人脸数据集D1是已经标注标签、进行了人脸的检测和对齐后的数据集。

优选的，所述步骤S2中检测数据集D1中的闭集噪声样本及对应的真实类别具体是：将数据集D1输入到ResNet50网络中并进行训练，利用BoundaryF1 Loss函数对闭集噪声进行检测。

优选的，所述的BoundaryF1 Loss函数公式如下：

；

其中，表示一个批次中样本的数量，表示一个批次内的第个样本，和均表示某个样本标签的类别，且与该第个样本的标签对应，表示训练集的类别总数，为缩放因子，代表所有和样本不同的类，为惩罚项，表示第个样本的特征向量与第类的类中心特征向量之间的夹角；表示第个样本的特征向量与第类的类中心特征向量之间的夹角，在归一化后的超球面上体现为测地距离。

优选的，所述步骤S3中的完成闭集噪声的重利用，生成数据集D2，具体是：根据步骤S2输出的闭集噪声list文件，在数据集D1中将闭集噪声样本移动至对应的类别目录内，完成闭集噪声的重利用，并生成数据集D2。