[发明专利]人脸识别方法及装置

权利要求书

1.一种人脸识别方法，其特征在于，包括：

获得取待识别图像；

基于跨模态人脸识别网络对所述待识别图像进行识别，得到所述待识别图像的识别结果，其中，所述跨模态人脸识别网络基于不同模态的人脸图像数据训练得到；

所述跨模态人脸识别网络的训练过程包括：

基于第一图像集和第二图像集对第一模态网络训练，其中，所述第一图像集中的对象属于第一类别，所述第二图像集中的对象属于第二类别；所述第一模态网络包括第一特征提取分支、第二特征提取分支以及第三特征提取分支；

将所述第一图像集输入至所述第一特征提取分支，并将所述第二图像集输入至所述第二特征提取分支，并将第四图像集输入至所述第三特征提取分支，对所述第一模态网络进行训练，其中，所述第四图像集包括的图像为同一场景下采集的图像或同一采集方式采集的图像；

将训练后的第一特征提取分支或训练后的第二特征提取分支或训练后的第三特征提取分支作为第二模态网络；

按预设条件从所述第一图像集中选取第一数目的图像，并从所述第二图像集中选取第二数目的图像，并根据所述第一数目的图像和所述第二数目的图像得到第三图像集；

基于所述第三图像集对所述第二模态网络进行训练，得到所述跨模态人脸识别网络。

2.根据权利要求1所述的方法，其特征在于，所述预设条件包括：所述第一数目与所述第二数目相同，所述第一数目与所述第二数目的比值等于所述第一图像集包含的图像数目与所述第二图像集包含的图像数目的比值，所述第一数目与所述第二数目的比值等于所述第一图像集包含的人数与所述第二图像集包含的人数的比值中的任意一种。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一图像集输入至所述第一特征提取分支，并将所述第二图像集输入至所述第二特征提取分支，并将第四图像集输入至所述第三特征提取分支，对所述第一模态网络进行训练，包括：

将所述第一图像集、所述第二图像集以及所述第四图像集分别输入至所述第一特征提取分支、所述第二特征提取分支以及所述第三特征提取分支，分别得到第一识别结果、第二识别结果以及第三识别结果；

获取所述第一特征提取分支的第一损失函数、所述第二特征提取分支的第二损失函数以及所述第三特征提取分支的第三损失函数；

根据所述第一图像集、所述第一识别结果以及所述第一损失函数，所述第二图像集、所述第二识别结果以及所述第二损失函数，所述第四图像集、所述第三识别结果以及所述第三损失函数，调整所述第一模态网络的参数，得到调整后的第一模态网络，其中，所述第一模态网络的参数包括第一特征提取分支参数、第二特征提取分支参数以及第三特征提取分支参数，所述调整后的第一模态网络的各分支参数相同。

4.根据权利要求3所述的方法，其特征在于，所述第一图像集中的图像包括第一标注信息，所述第二图像集中的图像包括第二标注信息，所述第四图像集中的图像包括第三标注信息；

所述根据所述第一图像集、所述第一识别结果以及所述第一损失函数，所述第二图像集、所述第二识别结果以及所述第二损失函数，所述第四图像集、所述第三识别结果以及所述第三损失函数，调整所述第一模态网络的参数，得到调整后的第一模态网络，包括：

根据所述第一标注信息、所述第一识别结果、所述第一损失函数以及所述第一特征提取分支的初始参数，得到第一梯度，以及根据所述第二标注信息、所述第二识别结果、所述第二损失函数以及所述第二特征提取分支的初始参数，得到第二梯度，以及根据所述第三标注信息、所述第三识别结果、所述第三损失函数以及所述第三特征提取分支的初始参数，得到第三梯度；

将所述第一梯度、所述第二梯度以及所述第三梯度的平均值作为所述第一模态网络的反向传播梯度，并通过所述反向传播梯度调整所述第一模态网络的参数，使所述第一特征提取分支的参数、所述第二特征提取分支的参数以及所述第三特征提取分支的参数相同。