[发明专利]一种基于换脸处理针对微表情数据集的数据增强方法

说明书

本发明提供基于换脸处理针对微表情数据集的数据增强方法，一种是基于换脸操作，利用包含被测对象脸部的图片，将原始微表情数据集中所有样本的脸替换为被测对象的脸，从而生成一个新数据集，用于支持实现微表情识别；另一种是基于换脸操作，分别选择原始微表情数据集之中来自每一个对象的脸部图片，将原始微表情数据集中的所有样本的脸分别换成所选对象的脸，从而对原始微表情数据集中每一个对象生成一个新的数据集；然后结合所有对象生成的新数据集，构建一个扩增的数据集，用于支持实现微表情识别。通过这种利用换脸技术的方式，本发明加强了数据集和被测试对象之间的关系，可以提升针对特定对象的识别准确率。

技术领域

本发明属于机器学习中数据增强技术领域，涉及一种针对微表情数据集的数据增强方法。

背景技术

目前，微表情识别方法主要依赖深度学习的方法，而深度学习的效果除了依赖于模型本身以外，很大一部分决定因素是在于数据集。目前主流的微表情数据集是SMIC(文献1)、CASME II(文献2)和SAMM(文献3)，它们分别只有16、26和29个被测对象。在实际应用中，由于数据集中样本数量不多，数据集中经常缺乏与实际被测对象相似的样本，在少量样本上训练的模型在识别新被测对象的微表情时效果不佳。因此经常考虑数据增强。在微表情识别领域，目前常用的数据增强方法有随机旋转、随机剪切、随机镜像和颜色混合等，如Mixup(文献4)。虽然这些方法有效，但在微表情的数据集中仍然无法解决对象少的问题。

然而，近年来出现了一些新的换脸技术，例如deepfakes(文献5)和类似的deepfacelab(文献6)。Deepfakes本质上是一个深度自动编码器-解码器模型，通过使用数百张源对象和目标对象的照片，训练该模型来分别识别和还原两个人的面部特征。通过使用源对象的脸与目标对象的脸的解码器，完成换脸图像输出，取得了良好的效果。但缺点也很明显：它不能在小样本集上工作，不能用一两张照片完成换脸操作。近年来，出现了一些可以用几张照片完成换脸操作的方法，如First Order Model(文献7)，它提取了图像的关键点，然后根据关键点对图像进行变形，完成换脸操作。另一个例子是FSGAN(文献8)，它通过损失感知、人脸重建和人脸多视图插值来完成换脸操作，这也实现了替换未经训练的新人脸。从前常用的传统数据增强方法，例如随机旋转、随机剪切等，是对训练数据的操作，并没有构建训练数据与被测对象之间的联系，而本发明提出的基于换脸技术的数据增强方法可以使生成针对特定样本的微表情训练数据或者扩充数据集样本数量成为可能。

相关文献：

【文献1】X.Li,T.Pfister,X.Huang,G.Zhao and M.A SpontaneousMicro-expression DataInducement,collection and baseline,2013 10th IEEEInternational Conference and Workshops on Automatic Face and GestureRecognition(FG),2013,pp.1-6.

【文献2】W.Yan,X.Li,S.Wang,G.Zhao,Y.Liu,Y.Chen,and X.Fu,“CASME II:animproved spontaneous micro-expression database and the baseline evaluation,”Plos one,doi:10.1371/journal.pone.0086041,2014.

【文献3】A.K.Davison,C.Lansley,N.Costen,K.Tan,and M.H.Yap,“SAMM:Aspontaneous micro-facial movement dataset,”IEEE Trans.Affect.Comput.,vol.9,no.1,pp.116–129,Jan.2018.