[发明专利]一种基于三元组损失函数的深度学习网络的人脸识别系统

权利要求书

1.一种基于三元组损失函数的深度学习网络的人脸识别系统，其特征在于，主要包括互关联匹配卷积神经网络(一)；干支集成卷积神经网络(二)；深度卷积神经网络集成(三)；性能评估(四)。

2.基于权利要求书1所述的互关联匹配卷积神经网络(一)，其特征在于，互关联匹配卷积神经网络(CCM-CNN)采用了矩阵哈达玛乘积，其后是一个全连接层，用于模拟自适应加权互关联技术；采用一种基于三元组优化的方法来学习面部表征判别式，这些面部表征是基于三元组的，包括正样本的和负样本的视频感兴趣区域(ROI)以及对应的静态ROI；为了进一步提高面部模型的鲁棒性，通过生成基于静态和视频非目标个体ROI的合成面部，使CCM-CNN的微调过程包括了多项信息；互关联匹配卷积神经网络主要包括三个部分：特征提取、互关联匹配和三元组损失优化。

3.基于权利要求书2所述的特征提取，其特征在于，通过特征提取管线实现，用于对同一个对象在不同情况下取得的ROI进行区别性特征的提取；特征提取管线包括三个子网络，分别对应静止、正样本和负样本的面部；每一个子网络都包括9个卷积层，每一个卷积层后是一个空间批标准层、丢失层和线性整流函数层。

4.基于权利要求书2所述的互关联匹配，其特征在于，互关联匹配主要采用的是一种像素匹配方法，能够高效的对特征映射进行对比，并且估量其匹配相似性；对比过程主要包括三个部分：矩阵乘积、全连接层和Softmax层；此方法采用了特征映射来表示ROI，将这些特征映射相乘从而对三元组的ROI进行自编码，大大降低了对比的复杂性。

5.基于权利要求书2所述的三元组损失优化，其特征在于，采用一个双向三元组优化函数来高效地训练网络；为了使三元组损失优化与网络兼容，需要在网络中添加额外的特征提取分支；三元组损失可用以下公式表示：

其中，S_tp、S_tn和S_np为互关联匹配中的相似性得分(分别为静止ROI与正样本ROI的对比得分、静止ROI与负样本ROI的对比得分和正样本ROI与负样本ROI的对比得分)。

6.基于权利要求书1所述的干支集成卷积神经网络(二)，其特征在于，干支集成卷积神经网络(TBE-CNN)可用于从整体面部图像和干支网络的面部标记块中提取互补性特征；为了对现实视频数据进行仿真，从静止图像中人工合成(主要采用人工失焦和动态模糊来学习对模糊不敏感的面部表征)模糊训练数据；TBE-CNN包含一个主干网络和多个分支网络，干支网络有一部分公用层，用来植入全局和局部信息，这个方法降低了计算成本并且有效地融合了信息；将干支网络的输出特征示意图串联起来以在全连接层中生成最终的面部表征。

7.基于权利要求书1所述的深度卷积神经网络集成(三)，其特征在于，深度卷积神经网络集成(HaarNet)可高效地学习区别性强的面部表征以满足视频面部识别；HaarNet包含了一个主干网络和三个分支网络，这些网络的设计是用来植入面部特征、姿态特征以及其他区别性特征；此外，为了提升区别能力，HaarNet采用了一种多阶段的训练方法，并且还采用了一个二阶统计标准三元组损失方程从类内和类间变化中获取信息；最终，在一个微调阶段中植入面部ROI的相关性信息，这些信息储存于登入和提升识别精确性的阶段。

8.基于权利要求书7所述的多阶段的训练方法，其特征在于，主要包括将三元组输入HaarNet、HaarNet的输出结果进行L₂-标准化表示和进行三元组损失处理，这种训练方法能够高效地优化HaarNet的内部参数。

9.基于权利要求书1所述的性能评估(四)，其特征在于，使用考克斯人脸数据库(CoxFace DB)对本系统进行评估，Cox Face DB中的面部信息包括了从静止照相机在可控环境下拍摄的高质量面部照片和视频设备在非可控情况下拍摄的低质量面部图像；性能评估主要有两个方面：将静止图片与视频图像进行对比、计算复杂性的评估。

10.基于权利要求书9所述的计算复杂性的评估，其特征在于，计算复杂性主要决定于运行流程(匹配静止ROI和视频ROI)的数量、网络参数和层数的数量；计算复杂性决定了人脸识别的效率。