[发明专利]一种训练多模态人脸识别模型的方法以及多模态人脸识别方法

权利要求书

1.一种训练多模态人脸识别模型的方法，其特征在于，所述方法包括：

根据单彩色数据训练彩色识别网络得到目标彩色识别网络，其中，通过最小化彩色人脸识别模型的损失函数为目的训练所述彩色识别网络得到所述目标彩色识别网络；

根据单深度数据训练深度识别网络得到目标深度识别网络，其中，通过最小化深度人脸识别模型的损失函数为目的训练所述深度识别网络得到所述目标深度识别网络；

根据所述目标彩色识别网络和所述目标深度识别网络获取多模态参考集中各类人脸图片的参考彩色识别特征和参考深度识别特征；

根据多模态查询集中的图片、所述参考彩色识别特征和所述参考深度识别特征训练多模态人脸识别模型，得到目标多模态人脸识别模型，其中，所述多模态人脸识别模型包括：所述目标彩色识别网络、所述目标深度识别网络、自适应得分决策网络，第一相似度获取模块、第二相似度获取模块以及分类器，且所述目标深度识别模型的输出和所述目标彩色识别网络的输出均与所述自适应得分决策网络的输入连接，所述目标彩色识别网络的输出与所述第一相似度获取模块连接，所述目标深度识别网络的输出与所述第二相似度获取模块连接，所述第一相似度获取模块的输出、所述自适应得分决策网络的输出以及所述第二相似度获取模块的输出均与所述分类器连接，所述自适应得分决策网络被配置为通过训练过程挖掘自适应模态的融合权重系数；

其中，

训练自适应得分决策网络的过程，包括：

本阶段固定上阶段已训练好的所述目标彩色识别网络和所述目标深度识别网络的权重，采用所述目标彩色识别网络和所述深度识别网络分别提取多模态参考集X_gallery和多模态查询集X_probe图片对的特征并分别记为各图片的参考彩色识别特征F_gc、参考深度识别特征F_gd、查询彩色识别特征F_pc、查询深度识别特征F_pd，并引入所述自适应得分决策网络结构，所述自适应得分决策网络可以自适应学习两个模态的融合权重W₁和W₂，所述自适应得分决策网络的构造如下：将网络输出的彩色特征和深度特征进行拼接，然后连接全连接层，输出对应两个模态的融合权重系数W₁和W₂，进行softmax；通过最小化如下的多模态人脸识别模型的损失函数得最优的自适应融合得分值：

至此，所述自适应得分多模态训练步骤完成，训练完成后就代表自适应得分决策网络可以有效地挖掘出不同模态的融合权重W₁和W₂；其中，n为输入的样本数,W₁为彩色图像相似度融合权重系数，W₂为深度图像相似度融合权重系数，m为用于调整特征间距离的超参数；

输入所述分类器的是彩色余弦相似度距离以及深度余弦相似度距离和自适应模态融合权重系数；

在识别测试的时候，首先提取测试集中注册机入库的图片记为多模态参考集的特征，然后将多模态测试查询集中的图片输入到所述多模态识别网络中获得融合权重W₁、W₂和彩色、深度识别特征，最终所述多模态参考集和所述多模态测试查询集中图片对的距离为，其中，是所述彩色查询集的图片与注册机入库彩色图片对之间的欧氏距离，为所述深度查询集中的图片与注册机入库的深度图片对之间的欧氏距离；

所述目标彩色识别网络、所述目标深度识别网络和所述多模态人脸识别模型均为人脸验证模型，其中，所述人脸验证模型的融合相似度距离与第N近的距离相关，其中，N为2，所述融合相似度距离的计算公式为：

其中，disf表征人脸验证时，距离修正后的测试查询集中的某一图片彩色、深度分别与注册机入库彩色、深度图片对之间的欧氏距离通过自适应得分决策网络输出的权重值进行加权融合后的值，top₂（dis）表征测试查询集中的某一图片彩色、深度分别与注册机所有入库彩色、深度图片对之间的欧氏距离通过自适应得分决策网络输出的权重值进行加权融合后的值的第二近距离，当采用所述目标彩色识别网络、所述目标深度识别网络和所述多模态人脸识别模型进行人脸验证时，可通过测试查询集中的图片与所有注册机入库图片之间的第N近距离来调整查询集中的图片与注册机入库图片之间的距离，其中，N为大于或等于2的整数，参数表示修正的幅度。