[发明专利]基于词分离和自适应的跨域人脸表示攻击检测方法和系统

说明书

本发明公开了基于词分离和自适应的跨域人脸表示攻击检测方法和系统，属于人脸识别领域。本发明采用VLAD聚合方法对局部特征进行量化，利用视觉词汇对特征空间进行局部划分，从而保持局部辨识能力，并进一步提出词汇分离和自适应方法来修改针对跨域PAD任务的检测方法，其中词汇分离方法将词汇划分为领域共享型和领域特定型视觉词汇，领域共享型单词对应所有域的泛化属性，而领域特定型的单词对应特定域的属性，以应对跨领域场景下的活体和攻击面孔的多样性；词汇自适应方法模仿了端到端训练中K均值算法的最大化步骤，保证了视觉词汇定位在分配的局部特征的中心，从而带来鲁棒的相似性度量。

技术领域

本发明涉及人脸识别领域，具体涉及一种基于基于词分离和自适应的跨域人脸表示攻击检测方法和系统。

背景技术

人脸识别的应用，如智能手机解锁、门禁、电子钱包支付等，通常与隐私相关，并在日常生活中应用广泛。然而，人脸识别系统可能很容易被各种表示攻击模式 (如打印攻击、重放攻击和3D面具攻击)绕过。如今，人脸图像很容易通过社交软件和互联网图像的途径获取，使人脸表示攻击检测（PAD，也即反欺诈）成为了保证人脸识别系统可靠性的关键步骤。

为了解决人脸反欺诈问题，网络上发布了大量具有不同的对象特征、攻击类型和模式的数据集。同时，提出了多种方法来判断活体人脸和假人脸之间的决策边界，例如基于图像纹理的方法通过利用外观线索（例如颜色纹理和图像扭曲线索）来检测攻击；基于时间的方法利用时间线索（例如面部动作和rPPG）来检测攻击；以及基于深度特征的方法，例如一种单边对抗学习方法，其中特征生成器被训练成只对真实面孔不分域，对虚假面孔则不然。

尽管现有的很多方法在数据集内部测试中显示出了良好的结果，但在跨数据集（域）场景中，即训练和测试数据来自具有不同攻击类型和识别环境的不同数据集时，它们的性能会显著下降。此外，现有的基于深度特征的方法通常是通过全局平均池化得到的，由于大多数的欺骗线索是微小的局部图像模式，这种简单的池化方法仅给出了局部特征映射的粗略求和，失去了局部鉴别能力。

发明内容

为了解决上述中的技术问题，本发明提供了一种基于词分离和自适应的跨域人脸表示攻击检测方法和系统。

本发明采用如下技术方案：

一种基于词分离和自适应的跨域人脸表示攻击检测方法，包括以下步骤：

1）建立由局部特征提取模块、聚类模块、词汇分离模块、质心自适应模块和聚合模块构成的人脸表示攻击检测模型；以及利用局部特征提取模块和聚类模块对不同域的真实人脸图像和虚假人脸图像进行编码，得到人脸图像的局部特征和K个视觉聚类，将K个聚类质心作为词汇集；

2）利用局部特征进行簇内识别，计算簇内鉴别损失；

利用词汇分离模块将词汇集中的聚类质心划分为共享视觉词汇和特定视觉词汇，计算两种词汇的正交损失；

利用质心自适应模块计算每一个视觉聚类下的局部特征的特征中心与聚类质心的质心自适应损失；

3）将人脸图像的局部特征量化到最接近的视觉词汇，计算赋值矩阵；利用聚合模块对局部特征与其对应的聚类质心之间的残差进行加权聚合，得到该人脸图像的NetVLAD表示；利用共享视觉词汇下的NetVLAD表示计算对抗损失，利用共享视觉词汇和特定视觉词汇的NetVLAD表示相结合计算分类损失和全局损失；

4）将步骤2）和步骤3）中损失值的加权结果作为总损失，训练人脸表示攻击检测模型，利用训练好的人脸表示攻击检测模型实现攻击检测。

进一步的，所述的局部特征提取模块采用CNN网络，所述的聚类模块采用k-means网络。利用k-means网络对人脸图像的局部特征进行聚类，得到K个视觉聚类，将每一个聚类质心表示为c_k，即一个视觉词汇，构成词汇集V。