[发明专利]基于融合特征和字典学习的人脸表示攻击检测方法及系统

权利要求书

1.一种基于融合特征和字典学习的人脸表示攻击检测方法，其特征在于，包括下述步骤：

对输入视频进行人脸检测和裁剪，构建人脸图像数据库；

提取人脸图像数据库中的人脸图像的融合特征，所述融合特征包括图像质量特征和深度网络特征；

根据人脸图像二次成像的失真来源提取完整人脸图像的图像质量特征；

构建深度卷积网络模型，通过深度卷积网络提取人脸图像块的深度网络特征；

根据图像质量特征和深度网络特征，将两种特征分别标准化后级联，级联后的特征通过PCA进行降维，生成最终的融合特征；

基于融合特征初始化字典原子，训练基于低秩共享字典的字典学习分类器；

所述基于融合特征初始化字典原子，训练基于低秩共享字典的字典学习分类器，具体步骤包括：通过交替优化字典和稀疏系数最小化字典模型的代价函数，迭代优化设定的次数后保存字典；

所述字典模型的代价函数表示为：

其中，第一项为辨别保真项，第二项为基于Fisher准则的判别系数项，第三项为L1正则化项，第四项为核范数，辨别保真项用于实现字典的识别力；判别系数项用于增大类内相似度，减小类间相似度，L1正则化项用于实现系数X的稀疏；核范数用于约束共享字典张成的子空间大小，保证共享字典的低秩性，λ₁、λ₂和η用于权衡代价函数各项的比重，D₀表示共享字典；

判别保真项定义为：

其中，表示第c类的样本，样本为融合特征，m表示融合特征的维度，n_c表示第c类的样本数，D表示总字典，D_c表示第c类的子字典，X_cⁱ表示第c类样本在第i类字典上的系数；

判别系数项定义为：

其中，M_c表示第c类样本的稀疏系数的平均值，M表示整个训练集稀疏系数的平均值，M⁰表示共享字典上系数的平均值，的作用是强制所有训练样本在共享字典上的系数靠近平均值；

基于融合特征重构残差的大小判断测试样本的类别。

2.根据权利要求1所述的基于融合特征和字典学习的人脸表示攻击检测方法，其特征在于，所述根据人脸图像二次成像的失真来源提取完整人脸图像的图像质量特征，具体步骤包括：提取镜面反射特征、提取模糊特征、提取色矩特征和提取色彩多样性特征步骤，将提取得到的特征级联，得到图像质量特征。

3.根据权利要求1所述的基于融合特征和字典学习的人脸表示攻击检测方法，其特征在于，所述通过深度卷积网络提取人脸图像块的深度网络特征，具体步骤包括：

通过对完整人脸图像进行随机缩放和随机裁剪生成所述的人脸图像块，构建轻量深度卷积网络模型，以人脸图像块作为卷积网络模型的输入，采用Focal Loss损失函数训练卷积网络模型提取人脸图像块的深度网络特征，并采用标签平滑方法将独热编码标签转化成软标签，优化深度卷积神经网络的训练过程。

4.根据权利要求1所述的基于融合特征和字典学习的人脸表示攻击检测方法，其特征在于，还包括求解测试样本的稀疏系数步骤，具体为：通过保存的字典构造两个带共享字典的类别字典，固定类别字典求解测试样本的稀疏系数。

5.根据权利要求1所述的基于融合特征和字典学习的人脸表示攻击检测方法，其特征在于，所述基于融合特征重构残差的大小判断测试样本的类别，具体步骤包括：

基于弹性网正则化求解测试样本的稀疏系数，通过稀疏系数重构测试样本的融合特征，重构残差最小的类别作为测试样本的预测类别。

6.一种基于融合特征和字典学习的人脸表示攻击检测系统，其特征在于，包括：人脸图像数据库构建模块、初步融合特征提取模块、最终融合特征生成模块、字典学习分类器训练模块和测试样本的类别判断模块；

所述初步融合特征提取模块包括图像质量特征提取模块和深度网络特征提取模块；

所述人脸图像数据库构建模块用于对输入视频进行人脸检测和裁剪，构建人脸图像数据库；

所述初步融合特征提取模块用于提取人脸图像数据库中的人脸图像的融合特征，所述融合特征包括图像质量特征和深度网络特征；

所述图像质量特征提取模块用于根据人脸图像二次成像的失真来源提取完整人脸图像的图像质量特征；

所述深度网络特征提取模块用于构建深度卷积网络模型，通过深度卷积网络提取人脸图像块的深度网络特征；

所述最终融合特征生成模块用于根据图像质量特征和深度网络特征，将两种特征分别标准化后级联，级联后的特征通过PCA进行降维，生成最终的融合特征；

所述字典学习分类器训练模块用于基于融合特征初始化字典原子，训练基于低秩共享字典的字典学习分类器；

所述基于融合特征初始化字典原子，训练基于低秩共享字典的字典学习分类器，具体步骤包括：通过交替优化字典和稀疏系数最小化字典模型的代价函数，迭代优化设定的次数后保存字典；

所述字典模型的代价函数表示为：

其中，第一项为辨别保真项，第二项为基于Fisher准则的判别系数项，第三项为L1正则化项，第四项为核范数，辨别保真项用于实现字典的识别力；判别系数项用于增大类内相似度，减小类间相似度，L1正则化项用于实现系数X的稀疏；核范数用于约束共享字典张成的子空间大小，保证共享字典的低秩性，λ₁、λ₂和η用于权衡代价函数各项的比重，D₀表示共享字典；

判别保真项定义为：

其中，表示第c类的样本，样本为融合特征，m表示融合特征的维度，n_c表示第c类的样本数，D表示总字典，D_c表示第c类的子字典，X_cⁱ表示第c类样本在第i类字典上的系数；

判别系数项定义为：

其中，M_c表示第c类样本的稀疏系数的平均值，M表示整个训练集稀疏系数的平均值，M⁰表示共享字典上系数的平均值，的作用是强制所有训练样本在共享字典上的系数靠近平均值；

所述测试样本的类别判断模块用于基于融合特征重构残差的大小判断测试样本的类别。