[发明专利]基于图注意力网络的文本情感分析方法

权利要求书

1.一种基于图注意力网络的文本情感分析方法，其特征在于，包括：

步骤1，从Semeval2014Task4数据集中获取文本集合和感情标签集合；

步骤2，按比例在文本集合和感情标签集合中进行随机选取，得到训练集和测试集；

步骤3，通过Biaffine依赖解析器对训练集中的句子进行句法依存关系分析，根据句子的句法依存关系构建句法依存图；

步骤4，将训练集输入BERT预训练模型，通过BERT预训练模型将训练集中的词转化为词向量；

步骤5，根据句法依存图搭建邻接矩阵；所述步骤5具体包括：根据句法依存图中的具有非对称的二元关系的节点构建具有对称关系的邻接矩阵，当邻接矩阵为1时，邻接矩阵中对应坐标的两节点之间有有向弧相连接，当邻接矩阵为0时，邻接矩阵中对应坐标的两节点之间无有向弧相连接；

步骤6，根据邻接矩阵搭建图注意力网络模型；所述步骤6具体包括：将邻接矩阵的节点作为图注意力网络模型的节点，节点之间的有向弧作为图注意力网络模型的边，搭建图注意力网络模型；

步骤7，将词向量嵌入到图注意力网络模型中相对应的节点中，将词向量作为节点的初始化状态；所述步骤7具体包括：将维度为300的词向量嵌入至图注意力网络模型中对应的节点，作为图注意力网络模型中的节点的初始化状态；

步骤8，对图注意力网络模型进行更新，将图注意力网络模型中的节点和与节点邻接的向量按注意力权重进行聚合，得到更新后的节点的向量序列，将节点的向量序列作为图注意力网络模型中相对应节点的临时状态；所述步骤8具体包括：更新图注意力网络层，如下所示：

其中，α_ij表示节点j到i的注意力系数，N表示节点的个数，W表示在每个节点上应用的线性变换权重矩阵，表示节点i对应的实体向量，表示节点j对应的实体向量，表示节点k对应的实体向量，N_i表示节点i的邻居节点；

通过多头注意力机制对各个节点进行上下文信息捕获，通过注意力权重将各个节点周围的节点的表达以加权和的形式聚合到相对应的节点，对于K个独立注意力机制下的计算结果，采用K平均来替代连接，如下所示：

其中，表示节点i更新的值，k表示为多个注意力机制中的第k个，||表示将多个注意力头学习到的特征进行拼接，σ表示激活函数，表示节点i对节点j的注意力系数，W^k表示输入节点的线性变换权重矩阵；

步骤9，搭建GRU模型，将图注意力网络模型节点的初始化状态输入GRU模型中进行保存，得到图注意力网络模型节点的保存状态；

步骤10，将图注意力网络模型节点的临时状态和图注意力网络模型节点的保存状态进行节点状态聚合，得到图注意力网络模型节点的最终状态；

步骤11，将图注意力网络模型节点的最终状态通过Softmax函数进行激活，得到文本情感趋向；

步骤12，对图注意力网络模型进行多层训练，构建损失函数；

步骤13，根据损失函数对注意力权重进行调整，当损失函数值小于所记录的损失函数的最小值时，更新损失函数值最小值并将对应的图注意力网络模型参数进行记录，得到最优的图注意力网络模型；

步骤14，通过最优的图注意力网络模型对文本进行情感分析。

2.根据权利要求1所述的基于图注意力网络的文本情感分析方法，其特征在于，所述步骤3具体包括：

通过Biaffine依赖解析器对训练集中的句子进行语法依存分析，将一个句子划分成词的线性序列并转化为根据句子语法依赖的图形结构，得到句法依存图，通过句法依存图将存在修饰关系的词相连接。

3.根据权利要求1所述的基于图注意力网络的文本情感分析方法，其特征在于，所述步骤4具体包括：

将训练集输入BERT预训练模型，通过BERT预训练模型的Transformer架构将训练集中的词语转化为维度为300的词向量。