[发明专利]一种基于情感相似度注意力机制的文本情感识别方法

权利要求书

1.一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，包括以下步骤：

步骤一、准备输入数据：对多模态数据库IEMOCAP中的文本数据归纳整理；

步骤二、处理文本句子：通过基于Transformer结构的Universal Sentence Encoder模型提取文本的语义和句意信息，并使用Universal Sentence Encoder模型将基础情感类别转换为情感向量以及将步骤一归纳整理后的文本中的每个句子s_i转换为句向量基础情感类别包括开心、生气、中性和伤心；

步骤三、通过情感注意力机制计算每个句子在每种情感方向上的情感趋向度，然后得到情感特征增强的句向量，用D表示得到的特征矩阵；

步骤四、深度特征提取：将步骤三得到的特征矩阵D输入到卷积神经网络中提取更深层次和更复杂的特征，得到特征矩阵H^*；

步骤五、多任务学习输出。

2.根据权利要求1所述一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，包括离散的情感分类和维度的VAD回归两个任务；其中情感分类任务用softmax分类器分为开心、生气、中性、伤心四类；回归任务用linear线性回归函数在效价、唤醒度和优势度三个维度上进行拟合。

3.根据权利要求1所述一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，步骤三情感注意力机制的具体计算方法如下：

(301)分别计算每个句向量和每种情感向量的相似度，先计算句向量和情感向量的余弦相似度，然后通过arccos转换为角距离；

其中1＜i＜l，1＜j＜4，l是批尺寸大小，代表的转置；

(302)将四类情感相似度通过softmax计算句向量对应每种情感的概率

(303)从情感词典中选取这四种情感的效价值val_j作为情感极性，并计算每个句子在每个情感方向上的情感注意力a_i,j：

其中α是调节情感注意力值范围的参数；

(304)计算以情感注意力为导向的情感特征D：

其中d^s是句向量大小，W_s是学习矩阵。

4.根据权利要求1所述一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，步骤四中的深度特征提取方法具体如下：

(401)将矩阵D输入到二维卷积神经网络中，选择w个滤波器做尺寸为m×n的卷积操作；

(402)接着是最大池化层，将卷积神经网络输出的特征图进行降采样处理，其中池化尺寸为p₁×p₂，然后通过dropout层防止过拟合；

(403)然后是三个不同节点的全连接层，分别连着三个dropout层。

5.根据权利要求1所述一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，步骤五多任务学习步骤具体如下：数据库中的每个句子都有两类不同的标签，分别是离散的情感标签y_emo,i和连续的代表效价、唤醒度和优势度的情绪标签(y_val,i,y_aro,i,y_dom,i)；

(501)情感分类任务：首先将步骤五输出的特征向量输入softmax分类器计算各情感的概率值分布：

P(y_emo)＝softmax(W_eH^*+b_e) (5)

W_e,b_e是softmax层的参数矩阵，H^*为第四步深度特征提取后的特征矩阵；目标多分类交叉熵损失函数定义如下：

其中y_emo,i是句子s_i的真实标签，P(y_emo,i)是s_i的概率分布；

(502)VAD回归任务：

对于连续的VAD回归任务，使用linear函数预测每个效价、唤醒度、优势度的值：

其中，W_s,b_s是linear层的参数矩阵，表示第三个全连接输出层句子s_i的特征向量；使用均方误差损失函数L_{s,val|aro|dom}作为目标函数，定义如下：

其中是预测值，是初始值；

(503)多任务训练目标函数：

J＝J_e+β*(L_s,act+L_s,ari+L_s,dom) (9)

其中J_e是情感分类任务的损失函数，β是控制回归任务权重的参数，用于平衡分类任务和回归任务的相互作用；L_s,act、L_s,aro、L_s,dom分别是VAD回归任务中在效价、唤醒度、优势度三个维度上的损失函数。