[发明专利]一种基于神经网络的文本分类方法

权利要求书

1.一种基于神经网络的文本分类方法，其特征在于，包括以下步骤：

步骤1：输入待分类的文本，对文本进行预处理，得到文本中每个词对应的词向量x_i；

步骤2：根据每个词对应的词向量x_i，使用注意力机制直接作用于词向量x_i上，得到单词级语义信息I_wse；使用双向LSTM网络直接作用于词向量x_i，获得单词级结构信息I_wst；

步骤3：使用卷积神经网络作用于词向量x_i，得到短语信息D；

步骤4：使用注意力机制作用于短语信息D，得到短语级语义信息I_pse；使用双向LSTM网络作用于短语信息D，得到短语级结构信息I_pst；

步骤5：融合单词级语义信息I_wse、单词级结构信息I_wst、短语级语义信息I_pse和短语级结构信息I_pst，得到最终文本的向量表示I_T；

步骤6：将最终文本的向量表示I_T输入到softmax分类器，得到每个类别对应的概率：取概率最高的类别即为文本所属的类别；

p＝softmax(W_cI_T+b_c)

其中W_c是softmax分类器的权重，b_c是对应的偏置。

2.根据权利要求1所述的一种基于神经网络的文本分类方法，其特征在于：所述的步骤1中对文本进行预处理具体为：

步骤1.1：检测输入文本的长度；若输入文本的长度大于指定长度，则对文本进行截断；若输入文本的长度小于指定长度，则对文本进行填充；

步骤1.2：对文本进行分词处理，按照词频对单词进行索引，把文本转换成对应的索引序列；

步骤1.3：将索引序列中每个索引转换成与之对应单词的词向量，完成对文本的预处理。

3.根据权利要求1或2所述的一种基于神经网络的文本分类方法，其特征在于：所述的步骤2中获取单词级语义信息I_wse的方法具体为：设长度为s的输入句子为w₁,w₂,w₃,…,w_s，所对应的词向量分别为x₁,x₂,x₃,…,x_s；由于句子中的每个单词对句子的整体语义贡献不同，使用注意力机制直接作用于词向量上，来学习每个单词对单词级语义信息贡献的比例α_i；把每个单词的词向量x_i与其对应的贡献比例α相乘并累加得到单词级语义信息I_wse；

其中，是单词w_i的词向量，d为向量的维度；

u_i＝tanh(W_wx_i+b_w)

其中，tanh为激活函数，为u_i的转置，W_w,b_w,u_w是注意力机制的参数；

所述的步骤2中获取单词级结构信息I_wst的方法具体为：所述的单词级结构信息I_wst是由前向LSTM的最终状态与反向LSTM的最终状态连接而成；