[发明专利]识别模型训练方法、微表情识别方法、装置、设备及介质

权利要求书

1.一种识别模型训练方法，其特征在于，包括：

获取微表情样本数据集，所述微表情样本数据集包括多个视频样本数据；

采用初始视觉识别模型对所述视频样本数据进行视觉特征提取，得到所述视频样本数据的视觉特征；

采用语义识别模型对所述视频样本数据的微表情属性进行语义特征提取，得到所述视频样本数据的微表情语义特征；

对所述视频样本数据的视觉特征和微表情语义特征进行跨模态对比学习，得到所述视频样本数据的对比学习损失值；

根据所述对比学习损失值确定所述视频样本数据的总损失值；

在所述总损失值未达到收敛条件时，迭代更新所述初始视觉识别模型的初始参数，直至所述总损失值达到所述收敛条件，将收敛后的所述初始视觉识别模型记录为微表情识别模型。

2.如权利要求1所述的识别模型训练方法，其特征在于，所述采用初始视觉识别模型对所述视频样本数据进行视觉特征提取，得到所述视频样本数据的视觉特征，包括：

对所述视频样本数据进行预处理，得到所述视频样本数据的视频序列；

计算所述视频样本数据的视频序列中两相邻帧之间的光流，得到所述视频样本数据的光流序列；

将所述视频样本数据的视频序列和光流序列，输入所述初始视觉识别模型进行特征提取和融合，得到所述视频样本数据的视觉特征。

3.如权利要求1所述的识别模型训练方法，其特征在于，所述采用语义识别模型对所述视频样本数据的微表情属性进行语义特征提取，得到所述视频样本数据的微表情语义特征，包括：

确定所述视频样本数据中微表情所属类别，并确定所述微表情所属类别在面部行为编码系统中对应的文本信息，作为所述视频样本数据的微表情属性信息；

将所述视频样本数据的微表情属性信息，输入所述语义识别模型进行语义编码，得到所述视频样本数据的微表情语义特征。

4.如权利要求1所述的识别模型训练方法，其特征在于，所述对所述视频样本数据的视觉特征和微表情语义特征进行跨模态对比学习，得到所述视频样本数据的对比学习损失值，包括：

将所述视频样本数据作为目标视频样本数据，并将所述微表情样本数据集中除所述目标视频样本数据之外的所述视频样本数据，作为对照视频样本数据；

将所述目标视频样本数据的视觉特征和微表情语义特征，记录为正例样本特征对；

将所述目标视频样本数据的视觉特征和所述对照视频样本数据的微表情语义特征，记录为负例样本特征对；

对所述正例样本特征对与多个所述负例样本特征对进行损失计算，得到所述对比学习损失值。

5.如权利要求1-4任一项所述的识别模型训练方法，其特征在于，所述根据所述对比学习损失值确定所述视频样本数据的总损失值，包括：

确定所述初始视觉识别模型对所述视觉特征的分类损失值，记为第一分类损失值；

确定所述语义识别模型对所述微表情语义特征的分类损失值，记为第二分类损失值；

根据所述第一分类损失值、所述第二分类损失值和所述对比学习损失值，确定所述视频样本数据的总损失值。

6.一种微表情识别方法，其特征在于，包括：

获取待识别视频数据，并获取如权利要求1-5任一项所述识别模型训练方法训练得到的微表情识别模型；

对所述待识别视频数据进行预处理，得到所述待识别视频数据的模型输入数据；

将所述模型输入数据输入所述微表情识别模型进行微表情识别；

获取所述微表情识别模型的输出数据，并将所述输出数据作为所述待识别视频数据的微表情识别结果输出。