[发明专利]一种基于层次化长短期记忆网络的中文文本分类方法

权利要求书

1.一种基于层次化长短期记忆网络的中文文本分类方法，其特征在于，包括以下步骤：

步骤1：准备文本数据集，包含无标记数据集和标记数据集；

步骤2：在无标记数据集上分别预训练文本中的字向量和词向量；

步骤3：对于文本中的每一个词，将这个词包含的所有字向量输入到一个长短期记忆网络中，取长短期记忆网络最后一个节点的输出向量作为这个词的一个特征向量；

步骤4：对于文本中的每一个词，将步骤2训练得到的词向量和步骤3计算得到的特征向量相连接，形成这个词的组合特征向量；

步骤5：将文本中所有词的组合特征向量输入到一个长短期记忆网络中，取该长短期记忆网络最后一个节点的输出向量作为该文本的特征向量；

步骤6：将步骤5得到的文本特征向量输入一个全连接神经网络，构建文本分类模型；

步骤7：在标记数据集上对步骤2至步骤5构建的分类模型进行训练，得到两个长短期记忆网络和一个全连接神经网络的参数以及更新的词向量和字向量；

步骤8：利用训练好的模型对新的文本进行分类，得到分类结果。

2.根据权利要求1所述的基于层次化长短期记忆网络的中文文本分类方法，其特征在于：所述步骤1中的无标记数据集包含大量没有标记的文本，用于字向量和词向量训练，可采用Wiki中文等较大数据集；所述标记数据集是带有类别标记的文本，其中每一条文本带有一个类别标签，用于分类模型的训练。

3.根据权利要求1所述的基于层次化长短期记忆网络的中文文本分类方法，其特征在于：所述步骤2中的字向量是指对文本数据集中每一个字用一个唯一的向量表示，所有字的字向量维度相同；所述词向量是指对文本数据集中每一个词用一个唯一的向量表示，所有词的词向量维度相同，词是采用分词工具对文本进行分词得到的词语。

4.根据权利要求1所述的基于层次化长短期记忆网络的中文文本分类方法，其特征在于：所述步骤2中字向量和词向量的预训练均使用Word2Vec模型；对于字向量的训练，将文本数据集中所有文本按字分开，利用Word2Vec模型对每个字训练出一个向量；对于词向量的训练，先将文本数据集中的文本进行分词，然后利用Word2Vec模型对每个词训练出一个向量。

5.根据权利要求1所述的基于层次化长短期记忆网络的中文文本分类方法，其特征在于：所述步骤3和步骤5中，对于预训练中没有出现的字和词，采用随机值进行初始化。

6.根据权利要求1所述的基于层次化长短期记忆网络的中文文本分类方法，其特征在于：所述步骤7中在标记数据集上对分类模型进行训练可采用随机梯度下降算法。

7.根据权利要求1所述的基于层次化长短期记忆网络的中文文本分类方法，其特征在于：所述长短期记忆网络和全连接神经网络模型的构建和训练可使用Tensorflow等常见框架。