[发明专利]一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统

权利要求书

1.一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，包括以下步骤：

构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用；

构建带有交互信息及位置信息的记忆内容；

构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元非线性结合，最终形成视角级文本情感特征表示；

采用分类函数得到文本最终的情感分类结果；

所述构建带有交互信息及位置信息的记忆内容具体包括以下步骤：

首先对结合外部知识的单词向量表示和视角词向量进行平均池化：

式中，c_avg表示平均单词向量表示，t_avg表示平均视角词向量表示，n表示输入文本的单词总数，m表示视角词的单词个数；

通过下式计算视角对文本注意力的文本表示S_i的注意力权重α_i和文本对视角注意力的文本表示A_i的注意力权重β_i：

其中，

式中，W_t、W_c表示待学习的权重参数矩阵，b_t、b_c表示待学习的权重参数向量；

通过下式计算交互注意力层的最终文本表示

其中，

式中，λ表示控制S_i和A_i重要程度的超参数；

将上下文单词与视角词的位置距离定义为二者之间的单词数；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重w_i，计算如下式所示：

其中，

式中，t表示视角词的位置，t_max表示输入文本的单词总数，m_i为融合了交互信息与位置注意力权重的记忆内容。

2.根据权利要求1所述的一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，所述构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用具体为：

首先通过Glove模型将分词处理后的文本数据转换为向量表示；

接着利用BiLSTM从文本提取语义特征；

利用动态注意力机制将BiLSTM的隐藏向量表示与外部同义词的向量表示相结合，同时引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示

3.根据权利要求2所述的一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，所述引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示具体为：

通过下式计算哨兵向量s_t：

式中，σ(*)表示logistic sigmoid函数，W_b、U_b表示待学习的权重参数矩阵，x_t表示当前输入的文本内容，表示上一隐藏状态的输出；

通过下式计算同义词向量t_k和哨兵向量s_t的注意权重β_t：

其中，

式中，t_kb、s_kb、b_t、b_s表示待学习的权重参数向量，W_t、W_s、W_ht、W_hs表示待学习的权重参数矩阵；

通过下式计算结合外部知识的单词向量表示

其中，

式中，k表示同义词，Syn_vi表示同义词向量集合。