[发明专利]一种基于神经网络结构模型的文本分类方法及分类系统

权利要求书

1.一种基于神经网络结构模型的文本分类方法，其特征在于，包括：

步骤一：搜集待分类的文本数据；

步骤二：处理文本数据，将文本数据中的语句以词向量表示；

步骤三：构建神经网络结构模型；所述神经网络结构模型的层数为三层，第一层为词注意层，第二层为句注意层，第三层为maxpooling层；

步骤四：基于所述神经网络结构模型，以RNN和CNN网络模型结构为基础，加入注意机制构建编码器；

步骤五：将以词向量表示的文本数据输入编码器，输出包含上下文信息的状态向量；

步骤六：根据状态向量使用分类器对文本数据进行分类，获得分类结果。

2.根据权利要求1所述的基于神经网络结构模型的文本分类方法，其特征在于，文本数据输入所述编码器时，在词注意层中：

通过将输入到一个多层神经网络中得到的结果作为隐藏表示；

构建基于词的注意力模型，初始化其权重矩阵，根据隐含表示计算每个词的重要性；

根据每个词的重要性，通过多层神经网络经加权平均获得由词组成的语句的重要性。

3.根据权利要求2所述的基于神经网络结构模型的文本分类方法，其特征在于，所述多层神经网络是双向GRU网络。

4.根据权利要求3所述的基于神经网络结构模型的文本分类方法，其特征在于，词的隐藏表示包括正向输入的隐藏状态和反向输入的隐藏状态，以如下公式计算：

x_it＝W_ew_it,t∈[1,T]

其中，表示第i句话第t个时刻的正向输入的隐藏状态的输出；表示第i句话第t个时刻的反向输入的隐藏状态的输出；w_it表示第i句话第t个时刻的输入；W_e表示初始化的权重矩阵；x_it表示第i句话第t个时刻的经过处理后的神经网络的输入。

5.根据权利要求3所述的基于神经网络结构模型的文本分类方法，其特征在于，由词组成的语句的重要性以如下公式计算:

u_it＝tanh(W_wh_it+b_w)

其中，u表示对应的权重矩阵；s_i表示第i句话的输入；h(h₁，h₂，……h_L)表示隐藏状态的输出；_ait表示对应的注意力模型的权值；b_w表示词级的偏置矩阵；W_w表示词级的权重矩阵。

6.根据权利要求2-5之任一项所述的基于神经网络结构模型的文本分类方法，其特征在于，在句注意层中：

通过将输入到多层神经网络中得到的结果作为隐含表示；

构建基于句的注意力模型，初始化其权重矩阵，根据隐含表示计算每个句的重要性；

根据句的重要性，通过多层神经网络经加权平均获得文本数据的状态向量。

7.根据权利要求6所述的基于神经网络结构模型的文本分类方法，其特征在于，所述状态向量经过如下公式计算得到：

u_i＝tanh(W_sh_i+b_s)

其中，表示第i句话第t个时刻的正向输入的隐藏状态的输出；表示第i句话第t个时刻的反向输入的隐藏状态的输出；s_i表示第i句话的输入；u表示对应的权重矩阵；a_i表示对应的注意力模型的权值；b_s表示句子级的偏置矩阵；v表示最后输出的状态向量,包含了上下文的信息。

8.根据权利要求2所述的基于神经网络结构模型的文本分类方法，其特征在于，在maxpooling层中，去除状态向量的部分特征，减少模型参数。