[发明专利]单模态人脸识别及模型训练方法、电子设备及存储介质

权利要求书

1.一种单模态人脸识别的模型训练方法，其特征在于，包括：

将人脸的多模态数据样本输入至多模态识别模型得到多模态人脸特征；

将所述多模态数据样本中任一指定模态的单模态数据样本输入至单模态识别模型得到单模态人脸特征；

以所述多模态识别模型为教师模型、单模态识别模型为学生模型，基于由每两个所述多模态人脸特征的特征向量间的距离、以及由每两个所述单模态人脸特征的特征向量间的距离，采用基于度量学习的损失函数构建损失，并通过知识蒸馏对所述单模态识别模型进行训练，得到训练好的单模态识别模型。

2.根据权利要求1所述的方法，其特征在于，所述以所述多模态识别模型为教师模型、单模态识别模型为学生模型，基于由每两个所述多模态人脸特征的特征向量间的距离、以及由每两个所述单模态人脸特征的特征向量间的距离，采用基于度量学习的损失函数构建损失，包括：

采用如下损失函数构建对比损失L₁：

其中，(b1,b2)为由任意两个多模态数据样本b1和b2构建的样本对；y为b1、b2是否所属同一人的标签，y=1代表所属同一人，y=0代表所属非同一人；f_s()为经所述单模态识别模型提取的所述单模态人脸特征；f_t()为经所述多模态识别模型提取的所述多模态人脸特征；d()为特征向量间的距离；N为样本对个数。

3.根据权利要求1所述的方法，其特征在于，所述以所述多模态识别模型为教师模型、单模态识别模型为学生模型，基于由每两个所述多模态人脸特征的特征向量间的距离、以及由每两个所述单模态人脸特征的特征向量间的距离，采用基于度量学习的损失函数构建损失，包括：

采用如下损失函数构建三元组损失L₂：

其中，在基于所述多模态数据样本构建的三元组中a为锚定样本、p为正样本、n为负样本；f_s()为经所述单模态识别模型提取的所述单模态人脸特征；f_t()为经所述多模态识别模型提取的所述多模态人脸特征；d()为特征向量间的距离；margin为常量；N为三元组个数。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述多模态识别模型为单一模型，所述将多模态数据样本输入至多模态识别模型得到多模态人脸特征包括：

将所述多模态数据样本中各模态数据样本进行融合，得到混合模态数据样本；

将所述混合模态数据样本输入到所述多模态识别模型，得到所述多模态人脸特征。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述多模态识别模型包括与所述多模态数据样本中各模态一一对应的多个子模型；所述将人脸的多模态数据样本输入至多模态识别模型得到多模态人脸特征包括：

将所述多模态数据样本中各模态数据样本输入至该模态对应的所述子模型中，得到各模态数据样本对应的分立模态人脸特征；

将所述各模态对应的分立模态人脸特征作为一个集合，得到所述多模态人脸特征。

6.根据权利要求5所述的方法，其特征在于，

采用如下公式计算所述每两个所述多模态人脸特征的特征向量间的距离：

其中，(b1,b2)为由任意两个多模态数据样本b1和b2构建的样本对；(b1_i,b2_i)为所述(b1,b2)中第i个模态的数据样本对；f_t()为经所述多模态识别模型提取的所述多模态人脸特征；f_ti()为经所述多模态识别模型中第i个模态对应的所述子模型提取的所述分立模态人脸特征；d()为特征向量间的距离；C_i为第i个模态对应的权重系数，所有模态对应的所述权重系数和为1；m为所述多模态数据样本所包含的模态数量。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述多模态识别模型和所述单模态识别模型均采用卷积神经网络构建。