[发明专利]基于词分离和自适应的跨域人脸表示攻击检测方法和系统

权利要求书

1.一种基于词分离和自适应的跨域人脸表示攻击检测方法，其特征在于，包括以下步骤：

1)建立由局部特征提取模块、聚类模块、词汇分离模块、质心自适应模块和聚合模块构成的人脸表示攻击检测模型；以及利用局部特征提取模块和聚类模块对不同域的真实人脸图像和虚假人脸图像进行编码，得到人脸图像的局部特征和K个视觉聚类，将K个聚类质心作为词汇集；

2)利用局部特征进行簇内识别，计算簇内鉴别损失；所述的簇内鉴别损失表示为：

其中，和分别为第k个聚类中真实人脸和虚假人脸的残差中心，是平方Frobenius范数，为簇内鉴别损失；

利用词汇分离模块将词汇集中的聚类质心划分为K1个共享视觉词汇Vsh和K2个特定视觉词汇Vsp，表示为V＝[Vsh；Vsp]，K1+K2＝K，V为词汇集；计算两种词汇的正交损失；所述的正交损失计算公式为：

其中，为正交损失，上角标T表示转置，是平方Frobenius范数；

利用质心自适应模块计算每一个视觉聚类下的局部特征的特征中心与聚类质心的质心自适应损失；所述的质心自适应模块计算过程具体为：

将局部特征赋给最接近的视觉词汇，将第k个聚类所对应的局部特征集记作其中，N_k为第k个聚类所赋的局部特征的个数，f_i,k表示赋给第k个聚类的第i个局部特征；

计算分配的局部特征的特征中心：

其中，为第k个聚类所赋的所有局部特征的特征中心；

计算每一个聚类下的特征中心与聚类质心的质心自适应损失

其中，c_k为第k个聚类质心，即第k个视觉词汇；是平方Frobenius范数，K为视觉聚类的数量；

3)将人脸图像的局部特征量化到最接近的视觉词汇，计算赋值矩阵；利用聚合模块对局部特征与其对应的聚类质心之间的残差进行加权聚合，得到该人脸图像的NetVLAD表示；利用共享视觉词汇下的NetVLAD表示计算对抗损失，利用共享视觉词汇和特定视觉词汇的NetVLAD表示相结合计算分类损失和全局损失；

所述的人脸图像的NetVLAD表示计算过程为：

3.1)将人脸图像的局部特征量化到最接近的视觉词汇，计算赋值矩阵：

其中，上角标T为转置，A_i,k表示赋值矩阵A中的元素；为人脸图像的局部特征图，N表示局部特征的数量，f_i表示第i个局部特征；V表示词汇集，c_k表示第k个聚类质心，即词汇集中的第k个视觉词汇；

3.2)计算局部特征与其对应的聚类质心之间的残差：

r_i,k＝f_i-c_k

其中，r_i,k表示第i个局部特征对第k个聚类质心的残差；

3.3)利用赋值矩阵对残差进行加权，将其聚合为NetVLAD表示

其中，对应第k个聚类下的NetVLAD表示，t为调节参数，A_i,k′表示第i个局部特征对临近的第k′个聚类的赋值；

4)将步骤2)和步骤3)中损失值的加权结果作为总损失，训练人脸表示攻击检测模型，利用训练好的人脸表示攻击检测模型实现攻击检测。

2.根据权利要求1所述的基于词分离和自适应的跨域人脸表示攻击检测方法，其特征在于，所述的局部特征提取模块采用CNN网络，所述的聚类模块采用k-means网络。

3.根据权利要求2所述的基于词分离和自适应的跨域人脸表示攻击检测方法，其特征在于，利用k-means网络对人脸图像的局部特征进行聚类，得到K个视觉聚类，将每一个聚类质心表示为c_k，即一个视觉词汇，构成词汇集

4.根据权利要求1所述的基于词分离和自适应的跨域人脸表示攻击检测方法，其特征在于，利用训练好的人脸表示攻击检测模型进行攻击检测时，首先获得待检测人脸图像在每一个聚类下的NetVLAD表示，比较待检测人脸图像与真实人脸图像对应的NetVLAD表示之间的相似性，根据相似性结果的预设阈值判断是否遭遇攻击。