[发明专利]一种基于注意力机制和特征强化融合的中文文本分类方法

权利要求书

1.一种基于注意力机制和特征强化融合的中文文本分类方法，其特征在于，包括以下步骤：

步骤a，整理原始中文文本语料，将所述原始中文文本语料进行分词并预训练词向量字典，进行文本预处理；

步骤b，把将中文文本语料预处理成基于词条的N维向量；对预处理后文本进行特征选择，组成文本数据集的特征空间；

步骤c，所述原始中文文本语料经过预处理后进入神经网络模块进行训练和测试前，先存入嵌入层的嵌入矩阵中，每一行的表示形式为一篇文本文档的向量表示形式；

步骤d，将所述嵌入层中存储的预处理后的中文文本语料，导入注意力机制模块的注意力机制权重模型、双层LSTM神经网络层和CNN模块中；

步骤e，所述双层LSTM在所述嵌入层中进行数据特征提取操作，将所述双层LSTM提取的特征作为特征信息，对所述注意力机制权重模型在所述嵌入层中提取的数据特征进行强化处理操作；强化处理操作采用相加融合方式，对中文文本不同卷积核尺寸的文本粒度特征采用所述CNN模块进行处理；

步骤f，将所述相加融合和所述CNN模块中输出的不同维度数据，进行拼接融合处理；

步骤g，将所述拼接融合处理后数据导入全连接层中；

步骤h，将所述全连接层中处理后数据导入softmax分类器进行归一化处理，输出样本属于各个类别的概率，以最大值对应的类别，作为文本类别识别的结果。

2.根据权利要求1所述的一种基于注意力机制和特征强化融合的中文文本分类方法，其特征在于，所述注意力机制模型为语意特征差异化注意力算法模型构成，所述语意特征差异化注意力算法模型包括以下步骤：

步骤a1，输入所述语意特征差异化注意力算法模型中文本为TEXT文本，确定文本中的词向量x1和x2；

步骤b1，将所述词向量x1和x2导入编码器LSTM中；将导入所述编码器LSTM中的所述词向量x1和x2进行编码操作，所述词向量x1编码为语义编码h1，所述词向量x2编码为语义编码h2；

步骤c1，将所述语义编码h1导入语义特征学习模块1中，所述语义编码h2导入语义特征学习模块2中；将所述语义特征学习模块1和所述语义特征学习模块2进行融合特征学习操作，将所述融合特征学习操作导入Softmax模块进行权重概率化分析；

步骤d1，将所述Softmax模块中权重概率化分析结果导入特征差异放大模块进行特征差异放大操作，将所述特征差异放大模块中特征差异放大后生成的注意力权重α和所述语义编码h1、语义编码h2导入到注意力权重配置模块中；

步骤e1，将所述注意力权重配置模块分析后数据导入激活层中进行分析，所述激活层分析后数据通过全连接层导入分类器处理。

3.根据权利要求1所述的一种基于注意力机制和特征强化融合的中文文本分类方法，其特征在于，所述CNN模块包括CNN3和CNN4两种卷积核尺寸的三维卷积神经网络，所述CNN3卷积核尺寸为3倍词向量维度，所述CNN4卷积核尺寸为4倍词向量维度。