[发明专利]一种基于深度学习的多模态人脸识别方法

摘要

本发明公开了一种基于深度学习的多模态人脸识别方法，包括(1)对RGB人脸图像进行人脸检测和对齐，根据模态之间的映射关系裁切制作RGB模态和其他模态的人脸数据集S0，S1，S2……；(2)设计一个多模态融合的深度卷积神经网络结构N1，并训练N1网络；(3)设计一个多模态共享的深度卷积神经网络结构N2，并训练N2网络；(4)提取特征阶段、(5)相似度计算阶段和(6)相似度融合阶段。本发明采用多模态系统，通过进行多种人脸模态数据的采集，利用多种模态信息各自的优点，通过融合策略来克服单模态系统的某些内在弱点，同时充分的利用多种模态信息，有效地提升了人脸识别系统的性能，使得人脸识别更加快捷准确。

主权项

1.一种基于深度学习的多模态人脸识别方法，其特征在于，包括以下步骤：/n(1)对RGB人脸图像进行人脸检测，特征点定位，对齐，裁切，制作裁切后的RGB模态人脸数据集S0；根据RGB模态和其他模态之间的坐标映射关系，找到其他模态人脸的特征点，并裁切制作其他模态的人脸数据集S1，S2……；/n(2)设计一个多模态融合的深度卷积神经网络结构N1，在这个结构中，前半部分是几个独立的神经网络分支，每个分支的输入对应一个模态，然后用特定的网络结构把多个模态分支融合成一个分支，再连接一系列神经网络结构单元；然后将S0，S1，S2……送入到N1的对应分支中，训练N1网络，训练好的模型用M1来表示；/n上述模态包括但不限于RGB模态、深度模态和近红外模态；特定的网络结构中，每个分支有各自的分类损失作为各个模态各自的监督信号，结构融合方法采用特征拼接；/n(3)设计一个多模态共享的深度卷积神经网络结构N2，将S0，S1，S2……不加区分的一起送入N2中，训练N2网络，训练好的模型用M2来表示；/n(4)提取特征阶段，对于注册集和查询集的图像，其模态范围在训练集模态范围内，某图像的不同模态可以表示为I0，I1，I2……，然后把I0，I1，I2……分别在模型M1和M2上提取特征，特征可用F0，F0C，F1，F1C，F2，F2C……表示，C表示是从M2上提取的特征；/n(5)分别计算GF0和PF0之间的相似度S00，GF1和PF1的相似度S11，GF2和PF2的相似度S22；计算GF0C和PF1C之间的相似度S01，类似的计算出跨模态相似度S02，S03，S12，S13，S23……；/n上述GF0表示注册集图像的F0，PF0表示查询集图像的F0，GF0C表示注册集图像的F0C，PF1C表示查询集图像的F1C；/n(6)对所有的注册集和查询集相似度进行加权求和融合，得到最终的融合相似度S，在融合相似度S构成的相似度矩阵上进行人脸识别和人脸确认。/n