[发明专利]基于注意力机制和干扰词删除的中文文本分类方法

权利要求书

1.基于注意力机制和干扰词删除的中文文本分类方法，其特征在于，包括以下步骤：

步骤一.对原始中文文本语料进行预处理；

步骤二.构建双向LSTM神经网络结构，并将之前预处理好的数据导入；

步骤三.构建注意力机制神经网络模型，并将之前预处理好的数据导入；

步骤四.将注意力机制标记出的重要词特征筛选排序；

步骤五.计算将预测结果切换到另一个类的异常干扰词，定位这种干扰词，做删除屏蔽的处理；

步骤六.用删除定量干扰词的方式调整训练分类器，并反向训练文本表达，得到训练参数；

步骤七.模型测试，将测试集词向量构成的词嵌入矩阵输入到训练好的模型中，得到概率矩阵后，输入分类器输出文本类别，最后与真实值比较得到预测值的精确度。

2.根据权利要求1所述的基于注意力机制和干扰词删除的中文文本分类方法，其特征在于，所述步骤一包括：

步骤a.整理公开的主题性中文文本语料和电影评论中文情感分类语料，并将两种语料分别以一定比例分为训练集和测试集；

步骤b.将划分好的中文文本语料进行去标点、去停用词、分词的处理；

步骤c.用word2vec方法将预处理后的词表示为n维词向量；

步骤d.将所述原始中文文本语料的向量拼接为做文本表达的词向量矩阵，并将该词向量矩阵调整为适应神经网络结构的形状。

3.根据权利要求1所述的基于注意力机制和干扰词删除的中文文本分类方法，其特征在于，所述步骤二包括：

步骤a.构建双向LSTM模型，设置LSTM层的隐藏单元个数；

步骤b.LSTM层后接全连接层，激活函数为sigmoid函数，sigmoid函数具体公式为：

步骤c.通过训练数据的词向量矩阵训练模型y＝Wx+b中的参数W和b；

步骤d.将所获得的词向量矩阵输入训练好的双向LSTM模型中，获得文本表达。

4.根据权利要求1所述的基于注意力机制和干扰词删除的中文文本分类方法，其特征在于，所述步骤三包括：

步骤a.构建注意力机制模型，通过矩阵变换调整输入词向量矩阵的维度，从而适应注意力机制模型；

步骤b.训练数据的词向量矩阵先进入一个全连接层，激活函数为softmax函数，将词向量映射为(0,1)区间的概率矩阵，softmax函数具体公式为：

其中，V为数组，V_i表示数组中的第i个元素；

步骤c.通过训练数据的词向量矩阵训练注意力机制模型，保存模型的参数值；

步骤d.将所获得的词向量矩阵输入训练好的注意力机制模型中，得到带有每个词向量权重的文本表达。

5.根据权利要求1所述的基于注意力机制和干扰词删除的中文文本分类方法，其特征在于，所述步骤四包括：

步骤a.设定阈值m；

步骤b.将大于该阈值的注意力权重文本表达筛出，并按权重值进行排序；

步骤c.记录高权重文本表达位于文档向量及序列向量的位置标签。

6.根据权利要求1所述的基于注意力机制和干扰词删除的中文文本分类方法，其特征在于，所述步骤六包括：

步骤a.通过拼接的方式融合LSTM模型和注意力机制模型得到的文本表达；

步骤b.通过文本表达到分类器的正向传播和反向传播，得到文本表达的类别极性；如果同一文档内出现几个极性相反，而注意力机制权重都很高的词，则考虑将其中一类或几类的词做干扰词删除屏蔽处理；如果同一文档内词的类别极性相同，则不对词做干扰词性删除屏蔽处理。