[发明专利]一种基于全局工作空间的可解释情绪识别方法和系统

权利要求书

1.一种基于全局工作空间的可解释情绪识别方法，其特征在于，所述方法包括：

通过多个预训练模型对相应的输入数据进行分析，获得结果编码；

基于最大经验风险算法，将所述结果编码进行竞争，获得全局工作空间的向量；

基于可解释的人工智能算法，获得所述输入数据的后解释数据；

将所述后解释数据输入到相应的模态模型中，获得第二结果编码；

根据所述向量对所述第二结果编码进行融合，获得融合向量；

将所述融合向量送入全连接层，经归一化后，获得情绪识别结果。

2.根据权利要求1所述的可解释情绪识别方法，其特征在于，所述预训练模型为以下模型的组合：

图像预训练模型、语音预训练模型和语言预训练模型。

3.根据权利要求1所述的可解释情绪识别方法，其特征在于，所述模态模型为以下模型的组合：

图像识别模型、语音识别模型和语言识别模型。

4.根据权利要求3所述的可解释情绪识别方法，其特征在于，所述模态模型参数的学习是通过情绪分类的监督信息得到。

5.根据权利要求1所述的可解释情绪识别方法，其特征在于，所述最大经验风险算法表示为：

其中，θ表示为模型参数，为非线性期望的表示，x代表输入数据，y代表监督信息，g_θ为参数化的模型，p(x,y)代表数据分布，N代表模态模型的总数，s_j代表用于训练第j个模态模型的样本数量，x_jk为第j个模态模型中的第k个数据样本，y_jk为x_jk的数据标签，为损失函数。

6.根据权利要求5所述的可解释情绪识别方法，其特征在于，获得全局工作空间的向量的方法包括：

根据模型参数，对损失函数求梯度后，组合为矩阵G：

其中，表示为基于第一预训练模型的模型参数θ_I对损失函数求梯度，_V表示为第二预训练模型的模型参数，θ_L表示为第三预训练模型的模型参数，T表示为转置符号；

全局工作空间的向量δ表示为：

δ＝-G^Tλ (3)

其中，λ表示为拉格朗日乘子。

7.根据权利要求6所述的可解释情绪识别方法，其特征在于，通过以下公式求解拉格朗日乘子为：

8.根据权利要求1所述的可解释情绪识别方法，其特征在于，所述后解释数据包括输入数据及其表征，所述表征包括图片数据的解释图、语音数据的解释图或自然语言的表征。

9.根据权利要求1所述的可解释情绪识别方法，其特征在于，所述融合向量表示为：

z_融合＝[z′_i+δ，z′_V+δ，z′_L+δ] (4)

其中，z_融合表示为融合向量，z′_I表示为第一模态模型输出的第二结果编码，z′_V表示为第二模态模型输出的第二结果编码，z′_L表示为第三模态模型输出的第二结果编码，δ表示为向量。

10.一种用于实现如权利要求1-9任一项所述可解释情绪识别方法的系统，其特征在于，包括预训练模块、竞争模块、可解释模块、分析模块、融合模块和识别模块，

所述预训练模块用于通过多个预训练模型对相应的输入数据进行分析，获得结果编码；

所述竞争模块基于最大经验风险算法，将所述结果编码进行竞争，获得全局工作空间的向量；

所述可解释模块基于可解释的人工智能算法，获得所述输入数据的后解释数据；

所述分析模块用于将所述后解释数据输入到相应的模态模型中，获得第二结果编码；

所述融合模块用于根据所述向量对所述第二结果编码进行融合，获得融合向量；

所述识别模块用于将所述融合向量送入全连接层，经归一化后，获得情绪识别结果。