[发明专利]单模态人脸识别及模型训练方法、电子设备及存储介质

说明书

本发明实施例涉及人脸识别领域，公开了一种单模态人脸识别及模型训练方法、电子设备及存储介质，其中模型训练方法包括：将人脸的多模态数据样本输入至多模态识别模型得到多模态人脸特征；将多模态数据样本中任一指定模态的单模态数据样本输入至单模态识别模型得到单模态人脸特征；以多模态识别模型为教师模型、单模态识别模型为学生模型，基于由每两个多模态人脸特征的特征向量间的距离、以及由每两个单模态人脸特征的特征向量间的距离构建损失，对单模态识别模型进行训练。本方案能够在多模态识别模型和单模态识别模型输出的人脸特征向量维度不一致的情况下，实现多模态多维度特征到单模态单维度特征的压缩，提升单模态小规模模型的识别性能。

技术领域

本发明涉及人脸识别领域，特别涉及一种单模态人脸识别及模型训练方法、电子设备及存储介质。

背景技术

当前，已经证实的多模态的人脸识别模型在一般情况下要优于单模态的人脸识别模型，参数较多的大规模模型的泛化能力要优于小规模模型。但有些产品由于数据采集设备以及芯片处理能力的限制，只能部署单模态的小规模模型，这就大大影响了模型的识别能力，怎样促使单模态下小规模模型尽可能接近多模态下大规模模型的识别能力是一个难点。

单模态模型想实现多模态信息的融合，一般可以用以下方法实现：

一种方法是先用单模态信息估计其他模态信息，再融合原始的单模态信息和估计的其他模态信息实现多模态识别。例如在只有彩色图的情况下，先用彩色图估计深度图（或红外图等），再用彩色图联合估计的深度图实现单模态下的多模态人脸识别。这种方法依赖深度估计的准确性，而从彩色图估计深度信息本来就是一个比较困难的问题；此外，此类方法为两步式方法，即需要先做深度估计、再做人脸识别，算法较为复杂。

另一种方法是用多模态识别模型蒸馏单模态识别模型，知识蒸馏方法的目的是把大而复杂的模型（教师模型）的知识迁移给小而紧凑的模型（学生模型）。此类方法一般对教师模型和学生模型提取的人脸特征进行约束，促使他们的特征更接近。此类方法通常需要教师模型的特征维度与学生模型的特征维度相同，这限制了多模态识别模型的蒸馏，因为多模态识别模型可能是由多个不同网络结构及输出不同特征维度的模型组成。

发明内容

本发明实施方式的目的在于提供一种单模态人脸识别及模型训练方法、电子设备及存储介质，能够在多模态识别模型和单模态识别模型输出的人脸特征向量维度不一致的情况下，实现多模态多维度特征到单模态单维度特征的压缩，提升单模态小规模模型的识别性能。

为解决上述技术问题，本发明的实施方式提供了一种单模态人脸识别的模型训练方法，包括：

将人脸的多模态数据样本输入至多模态识别模型得到多模态人脸特征；

将所述多模态数据样本中任一指定模态的单模态数据样本输入至单模态识别模型得到单模态人脸特征；

以所述多模态识别模型为教师模型、单模态识别模型为学生模型，基于由每两个所述多模态人脸特征的特征向量间的距离、以及由每两个所述单模态人脸特征的特征向量间的距离，采用基于度量学习的损失函数构建损失，并通过知识蒸馏对所述单模态识别模型进行训练，得到训练好的单模态识别模型。

本发明的实施方式还提供了一种单模态人脸识别方法，包括：

获取待识别人脸在目标模态下的单模态数据；

采用如上所述的单模态人脸识别的模型训练方法中，以所述目标模态为所述指定模态训练的单模态识别模型，对所述单模态数据进行特征提取，得到第一单模态人脸特征；

对所述第一单模态人脸特征和注册人脸在所述目标模态下的注册人脸特征进行比对，实现对所述待识别人脸的身份识别。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，