[发明专利]跨模态人脸识别的方法、装置、设备和存储介质

权利要求书

1.一种跨模态人脸识别的方法，包括：

针对至少两种模态中的每一种模态，采用样本用户的该种模态的人脸图像数据对人脸识别模型进行单模态训练；

采用样本用户的所述至少两种模态的人脸图像数据，对所述人脸识别模型进行跨模态训练；其中，单模态训练过程与跨模态训练过程共享模型参数；

将经单模态训练和跨模态训练的人脸识别模型，作为待使用的跨模态人脸识别模型；

其中，所述采用样本用户的所述至少两种模态的人脸图像数据，对所述人脸识别模型进行跨模态训练，包括：

对所述样本用户的至少两种模态的人脸图像数据进行插值处理，得到处理后的每一种模态的人脸图像数据；其中，所述处理后的每一种模态的人脸图像数据包括该模态被处理前的人脸图像数据以及至少两种模态中其他模态被处理前的人脸图像数据；

采用处理后的至少两种模态的人脸图像数据，对所述人脸识别模型进行跨模态训练；

其中，所述对所述样本用户的至少两种模态的人脸图像数据进行插值处理，得到处理后的每一种模态的人脸图像数据，包括：

为样本用户生成插值系数；其中，所述插值系数是指插值处理过程中被处理模态的维持比重，所述插值系数的均值为固定数值；

根据所述样本用户的每一种模态的人脸图像数据、所述插值系数和其他模态的人脸图像数据，确定处理后的该模态的人脸图像数据。

2.根据权利要求1所述的方法，其中，所述采用样本用户的所述至少两种模态的人脸图像数据，对所述人脸识别模型进行跨模态训练，包括：

在跨模态训练过程中，将每一种模态的人脸图像数据作为所述人脸识别模型的输入，得到所述人脸识别模型输出的该种模态特征；

基于预先构建的特征分类器，将至少两种模态特征作为所述特征分类器的输入，得到所述特征分类器输出的跨模态特征距离；

根据所述跨模态特征距离，对所述人脸识别模型进行训练。

3.根据权利要求2所述的方法，还包括：

将每一种模态的人脸图像数据作为所述人脸识别模型的输入，得到所述人脸识别模型输出的该种模态特征；

根据至少两种模态特征对所述特征分类器进行训练，使所述特征分类器对不同模态特征进行分类。

4.根据权利要求1-3中任一项所述的方法，其中，所述至少两种模态的样本数据量不同。

5.一种跨模态人脸识别的装置，包括：

单模态训练模块，用于针对至少两种模态中的每一种模态，采用样本用户的该种模态的人脸图像数据对人脸识别模型进行单模态训练；

跨模态训练模块，用于采用样本用户的所述至少两种模态的人脸图像数据，对所述人脸识别模型进行跨模态训练；其中，单模态训练过程与跨模态训练过程共享模型参数；

模型确定模块，用于将经单模态训练和跨模态训练的人脸识别模型，作为待使用的跨模态人脸识别模型；

其中，所述跨模态训练模块包括：

图像插值单元，用于对所述样本用户的至少两种模态的人脸图像数据进行插值处理，得到处理后的每一种模态的人脸图像数据；其中，所述处理后的每一种模态的人脸图像数据包括该模态被处理前的人脸图像数据以及至少两种模态中其他模态被处理前的人脸图像数据

跨模态训练单元，用于采用处理后的至少两种模态的人脸图像数据，对所述人脸识别模型进行跨模态训练；

其中，所述图像插值单元包括：

插值系数子单元，用于为样本用户生成插值系数；其中，所述插值系数是指插值处理过程中被处理模态的维持比重，所述插值系数的均值为固定数值；

图像插值单元，用于根据所述样本用户的每一种模态的人脸图像数据、所述插值系数和其他模态的人脸图像数据，确定处理后的该模态的人脸图像数据。