[发明专利]基于全局交互和句法依赖的情感特征表示学习系统及方法

权利要求书

1.一种基于全局交互和句法依赖的情感特征表示学习方法，其特征在于，包括以下步骤：

阶段0：数据预处理与标记

步骤0：将在线评论数据利用分词工具将句子分解为单词序列，并给出每条评论所对应的标签；

步骤1：给定长度为n的评论S，其中；评论S中评价对象为长度为m的短语S^a以及情感极性Y，其中，S＝{w₁,w₂,w₃,...,w_n}，上标a为单词输入评价对象短语，w_n为评论中的一个单词，Y为该条评论对应情感极性，且Y＝{Positive,Negative,Neutral}；Positive、Negative和Neutral分别表示积极、消极和中立；

阶段1：全局交互特征表示学习

步骤2：采用预训练的语言模型BERT作为单词嵌入工具；

步骤3：使用BERT的双句任务模式输入当前评论的完整上下文以及需要进行情感分析的评价对象；通过BERT自身的多头自注意力机制计算上下文以及评价对象之间的初级交互表示：

其中，为句子中第i个单词的输入，BERT^g为全局交互表示学习阶段所使用的语言模型，为句子中第i个单词通过BERT生成的嵌入表示，上标g为全局交互特征模块的标记；

步骤4：将上下文和评价对象的嵌入表示输入到Bi-LSTM层中获取句子的序列信息，经过Bi-LSTM建模之后的单词隐藏层状态表示为：

其中，为单词隐藏层状态；

步骤5：设置动态位置的权重，将句子分为权重保持窗口和权重衰减窗口，且在权重保持窗口内的单词都被认为是与评价对象相关的，即位置权重L_i为1；

定义语义相关距离SRD和权重保持阈值WKT来确定一个单词是否在该评价对象的权重保持窗口内；

针对评价对象短语，其权重设为1；经过位置权重加权的单词特征表示为：

其中，为单词特征表示；

步骤6：计算深度全局交互表示，更新上下文与评价对象的相互影响来获取情感特征；采用多头自注意力机制，基于多头执行多个注意力操作，从不同的角度获取单词之间的联系，多头自注意力的计算方法如下：

其中，分别是将映射到不同向量空间中的权重矩阵得到的Q_h,K_h,V_h，每个注意力头的矩阵不共享参数，其中Q_h,K_h,V_h分别为第h个注意力头的Query，Key和Value；W^O为可训练的权重矩阵；head_h，1≤h≤H代表第h个注意力头的输出；

对于给定的自注意力的计算方法如下：

其中，为K_h的转置，上标T为转置操作，d_k为注意力头的输入维度；

获取全局交互的特征表示其中包含了上下文在评价对象影响下的表示和评价对象在上下文影响下的表示；

阶段2：学习句法依赖特征表示

步骤7：基于上下文的初始表示，使用BERT作为词嵌入工具，只对评论内容进行嵌入；上下文嵌入被计算为：

其中，为句子中第i个单词的输入，BERT^d为全局交互表示学习阶段使用的语言模型，在此步骤中，和为两模块同一单词的不同输入，BERT^d与BERT^g为不共享参数的两个不同BERT模型，为句子中第i个单词通过BERT^d生成的嵌入表示，上标d为句法依赖表示模块；

步骤8：强化序列特征，使用Bi-LSTM强化上下文序列特征：

其中，为强化后的上下文序列特征；

步骤9：生成句法依赖树，首先使用依存语法解析工具将评论句子处理成句法依赖树结构，采用StanfordCoreNlp作为依存句法解析工具；

步骤10：构成句法邻接矩阵A_ij，使用句法依赖树的无向图矩阵；若A_ij＝0，则表示节点i和节点j之间不存在句法依赖关系；若A_ij＝k，则节点i和节点j之间存在序号为k的依赖关系；

步骤11：依赖信息建模，采用基于图注意力网络改进的图依赖注意力网络进行计算；

阶段3：特征联合学习

步骤12：采用特征联合学习的方法，通过两种特征的交互融合来获取评价对象的情感特征表示；

步骤13：获取评价对象表示，全局交互特征中包括：上下文表示和评价对象表示，使用context mask机制掩盖上下文部分只保留评价对象部分，来获取评价对象的表示；

步骤14：获取评价对象情感特征，使用步骤13中获取的评价对象表示，并与句法依赖特征进行交互注意力计算获取注意力权重：

其中，W^r为权重矩阵，b^r为偏置项，为评价对象短语中第i个单词的表示，为上下文中第j个单词的句法依赖特征表示，为单词i和单词j的注意力权重；

通过注意力权重加权获得评价对象第i个单词融合句法依赖信息的表示，并将整个短语进行均值池化后，获取最终的评价对象特征表示：

其中，为评价对象短语中第i个单词的特征表示，α_ij为单词i和单词j的注意力权重，σ为非线性激活函数，M为评价对象短语的长度；

步骤15：最终情感特征表示，将全局交互特征及句法依赖特征均采用均值池化处理，并将其与评价对象情感特征表示拼接，获取最终用于分类的情感特征表示：

h＝(h′_g:h^a:h′_d) (10)

其中，h′_g为经过池化后的全局交互特征表示，h′_d为经过池化后的句法依赖特征表示；

步骤16：获取情感类别，将评价对象在当前上下文中的最终情感特征表示用于情感分类；然后，将h输入全连接层，并使用Softmax激活函数获取最终的预测情感标签：

其中，W^p和b^p为全连接层的参数矩阵，为最终预测的情感标签；

使用交叉熵损失函数来迭代与更新参数，使用L2正则化避免梯度消失：

其中，为评论的真实情感标签，N为评论的长度，C为标签的种类，为模型预测的情感标签，θ为模型的参数，λ为L2正则化的参数。