[发明专利]识别情绪的方法、训练情绪识别模型的方法、装置及设备

权利要求书

1.一种识别情绪的方法，包括：

获取目标数据的第一内容特征和第一音频特征；

将所述第一内容特征输入第一特征提取模型，得到第二内容特征；

将所述第一音频特征输入第一特征提取模型，得到第二音频特征；以及

根据所述第二内容特征和所述第二音频特征，识别与目标数据对应的目标对象的情绪。

2.根据权利要求1所述的方法，其中，所述第一特征提取模型包括图卷积子模型，所述图卷积子模型采用的图结构为链式图结构，与所述链式图结构对应的第一邻接矩阵为：

其中，A_C为所述第一邻接矩阵，a为大于0的实数；

其中，所述第一邻接矩阵为N*N的矩阵，N为大于2的正整数，所述第一邻接矩阵的第i+1个行向量是根据第i个行向量向右循环一位得到的，i为大于1且小于等于N-2的整数。

3.根据权利要求1所述的方法，其中，所述第一特征提取模型包括图卷积子模型，所述图卷积子模型采用的图结构为线式图结构，与所述线式图结构对应的第二邻接矩阵为：

其中，A_L为所述第二邻接矩阵，b为大于0的实数；

其中，所述第二邻接矩阵为M*M的矩阵，M为大于2的正整数，所述第二邻接矩阵的第j+1个行向量是根据第j个行向量向右循环一位得到的，j为大于1且小于等于M-2的整数。

4.根据权利要求1所述的方法，其中，所述获取目标数据的第一内容特征和第一音频特征包括：

将所述目标数据输入第二特征提取模型，得到所述目标数据的文本信息和时间信息；

根据所述文本信息，得到所述第一内容特征；

根据所述文本信息和所述时间信息，得到所述第一音频特征。

5.根据权利要求2或3所述的方法，其中，所述图卷积子模型包括第一图卷积网络，所述第一图卷积网络包括H个第一图卷积层，

所述将所述第一内容特征输入第一特征提取模型，得到第二内容特征包括：

将所述第一内容特征输入第1个第一图卷积层，得到第1个第一中间特征；

将第h个第一中间特征输入第h+1个第一图卷积层，得到第h+1个第一中间特征，h＝1，……H-1；

根据H个第一中间特征，得到所述第二内容特征。

6.根据权利要求2或3所述的方法，其中，所述图卷积子模型包括第二图卷积网络，所述第二图卷积网络包括K个第二图卷积层，

所述将所述第一音频特征输入第一特征提取模型，得到第二音频特征包括：

将所述第一音频特征输入第1个第二图卷积层，得到第1个第二中间特征；

将第k个第二中间特征输入第k+1个第二图卷积层，得到第k+1个第二中间特征，k＝1，……K-1；

根据K个第二中间特征，得到所述第二音频特征。

7.根据权利要求1至6任一项所述的方法，其中，所述根据所述第二内容特征和所述第二音频特征，识别与目标数据对应的目标对象的情绪包括：

对第二内容特征和第二音频特征执行融合操作，得到融合特征；

根据所述融合特征，识别所述目标对象的情绪。

8.一种训练情绪识别模型的方法，所述情绪识别模型包括第一特征提取模型，包括：

获取样本数据的第一内容特征和第一音频特征；

将所述第一内容特征输入第一特征提取模型，得到第二内容特征；

将所述第一音频特征输入第一特征提取模型，得到第二音频特征；

根据所述第二内容特征和所述第二音频特征，识别与所述样本数据对应的样本对象的情绪；

根据所述样本对象的情绪和所述样本数据的标签，得到损失值；以及

根据所述损失值，训练所述情绪识别模型。