[发明专利]基于再注意力机制的文本情绪分类方法及系统

权利要求书

1.一种基于再注意力机制的文本情绪分类方法，其特征在于：包括以下过程：

获取文本中的文字数据，并对获取的文字数据进行预处理；

将预处理后的文字数据输入到预设神经网络分类模型，得到情绪分类结果；

其中，预设神经网络分类模型中，包括再注意力层和多个神经网络层，再注意力层对每个神经网络层的输出向量进行特征选择；

具体的，包括以下步骤：

步骤1：构建预训练数据集，通过获取互联网中网民的评论文本，将每条评论以长句形式表示，句子长度截断至512字符，长度为m的输入语句定义为X=（x₁，x₂，x₃…，x_m）；

步骤2：构建13层深度神经网络分类模型，其中1-12层为基于双向Transformer的神经网络层，目的是得到输入语句的嵌入式表达，第13层为方法提出的再注意力层，目的是将第12层中所有的输出向量进行特征选择；

步骤3：在步骤1中准备的每个输入语句的最前面添加CLS标记，并将添加标记后的语句输入到步骤2中第一层神经网络中，在第12层后得到语句X的隐含向量HiddenState，表示为h=（h₀，h₁，h₂，h₃…，h_m）其中h₀表示CLS标位置的向量；

步骤4：将HiddenState向量进行再注意操作；

步骤5：将步骤4中计算得到的最终向量c送入softmax分类器，得到分类结果的概率；

所述隐含向量中包含有指示预设标记位置的位置向量，隐含向量中的某个子向量的权重根据此向量与位置向量的得分计算得到；利用再注意力层对隐含向量进行再注意操作，得到最终加权之后的向量，将加权后的向量与位置向量相加后输入到softmax分类器中，得到分类结果的概率；隐含向量中的每个子向量代表一个字符或者一个单词，每个字符或者单词对应一个权重，各个字符或单词的加权和为经过再注意力机制之后得到的最终向量。

2.如权利要求1所述的基于再注意力机制的文本情绪分类方法，其特征在于：

神经网络层为基于双向Transformer的神经网络层，用于得到输入语句的嵌入式表达。

3.如权利要求1所述的基于再注意力机制的文本情绪分类方法，其特征在于：

对获取的文字数据进行预处理，包括：

将文字数据以语句形式表示，并将一条语句截断成预设字符数量的多个。

4.如权利要求3所述的基于再注意力机制的文本情绪分类方法，其特征在于：

在每条语句的最前面添加预设标记，将添加标记后的语句输入到预设神经网络分类模型的第一个神经网络层中，在最后一个神经网络层中得到语句的隐含向量。