[发明专利]情绪识别方法、装置、电子设备和存储介质

权利要求书

1.一种情绪识别方法，其特征在于，包括：

确定至少两个模态的待识别数据；

基于各个模态的情绪识别模型，确定所述各个模态的待识别数据的情绪概率分布；

基于所述各个模态的情绪概率分布，确定情绪识别结果；

所述情绪识别模型用于对对应模态的待识别数据进行特征提取，并基于特征提取所得的数据特征进行情绪识别；

所述各个模态的情绪识别模型是基于所述各个模态的样本数据的样本数据特征在同一空间内的特征相似度，和/或，所述各个模态的样本数据的预测概率分布之间的分布相似度，联合训练得到。

2.根据权利要求1所述的情绪识别方法，其特征在于，所述各个模态的情绪识别模型基于如下步骤训练：

基于所述各个模态的初始情绪识别模型，确定所述各个模态的样本数据的样本数据特征和预测概率分布；

将所述各个模态的样本数据的样本数据特征映射到同一空间，得到同一空间内所述各个模态的样本数据的样本投影特征；

基于所述各个模态的样本数据的样本投影特征之间的特征相似度，和/或，所述各个模态的样本数据的预测概率分布之间的分布相似度，确定联合训练损失；

基于所述联合训练损失，对所述各个模态的初始情绪识别模型进行参数迭代，得到所述各个模态的情绪识别模型。

3.根据权利要求2所述的情绪识别方法，其特征在于，所述基于所述各个模态的样本数据的样本投影特征之间的特征相似度，和/或，所述各个模态的样本数据的预测概率分布之间的分布相似度，确定联合训练损失，包括：

从所述各个模态的样本数据中，选取样本情绪识别结果相同的至少两个模态的样本数据，作为正样本数据集，从所述各个模态的样本数据中，选取样本情绪识别结果不同的至少两个模态的样本数据，作为负样本数据集；

基于所述正样本数据集中各样本数据的样本投影特征之间的特征相似度，以及所述负样本数据集中各样本数据的样本投影特征的之间的特征相似度，确定对比损失；

基于所述正样本数据集中各样本数据的预测概率分布之间的分布相似度，确定分布损失；

基于所述对比损失和/或所述分布损失，确定联合训练损失。

4.根据权利要求2所述的情绪识别方法，其特征在于，所述基于所述联合训练损失，对所述各个模态的初始情绪识别模型进行参数迭代，得到所述各个模态的情绪识别模型，包括：

基于所述各个模态的样本数据的预测概率分布，以及所述各个模态的样本数据对应的样本情绪识别结果，确定所述各个模态的初始情绪识别模型的预测损失；

基于所述预测损失和所述联合训练损失，对所述各个模态的初始情绪识别模型进行参数迭代，得到所述各个模态的情绪识别模型。

5.根据权利要求2至4中任一项所述的情绪识别方法，其特征在于，所述各个模态的初始情绪识别模型基于如下步骤训练：

确定至少两个模态的样本数据；

将所述各个模态的样本数据输入至对应模态的第一情绪识别模型，得到所述第一情绪识别模型输出的各个模态的第一预测概率分布；

基于所述第一预测概率分布和样本情绪识别结果，对所述各个模态的第一情绪识别模型进行参数迭代，得到所述各个模态的初始情绪识别模型。

6.根据权利要求5所述的情绪识别方法，其特征在于，所述确定至少两个模态的样本数据，包括：

确定至少两个模态的初始样本数据，所述至少两个模态包括音频模态、图像模态、文本模态、脑电信号模态、行为模态、遗传模态中的至少两种；

对所述各个模态的初始样本数据进行时间区间划分，得到所述各个模态的样本数据。

7.根据权利要求1至4中任一项所述的情绪识别方法，其特征在于，所述基于所述各个模态的情绪概率分布，确定情绪识别结果，包括：

对所述各个模态的情绪概率分布进行加权融合，得到融合情绪概率分布；

基于所述融合情绪概率分布，确定情绪识别结果。