[发明专利]一种基于层次化长短期记忆网络的中文文本分类方法

摘要

本发明公开一种基于层次化长短期记忆网络的中文文本分类方法。步骤包括：首先采用无监督文本数据集训练字向量和词向量；然后对文本中的每一个词，使用一层长短期记忆网络根据这个词包含的字的字向量计算该词的特征向量；接着对文本中的每一个词，将计算得到的特征向量与其本身的词向量相连接，作为该词的组合特征向量；在此基础上将文本中所有词的组合特征向量输入到一层长短期记忆网络中计算文本的特征向量，最后利用一层全连接神经网络根据文本的特征向量计算文本的类别分布，进而对文本进行分类。本发明所提出的方法可以很好地表示中文文本中字与词的关系和词与文本的关系，并且很好地表示了“字‑词‑文本”的层次化语意关系，可以使文本分类更加准确。

主权项

1.一种基于层次化长短期记忆网络的中文文本分类方法，其特征在于，包括以下步骤：步骤1：准备文本数据集，包含无标记数据集和标记数据集；步骤2：在无标记数据集上分别预训练文本中的字向量和词向量；步骤3：对于文本中的每一个词，将这个词包含的所有字向量输入到一个长短期记忆网络中，取长短期记忆网络最后一个节点的输出向量作为这个词的一个特征向量；步骤4：对于文本中的每一个词，将步骤2训练得到的词向量和步骤3计算得到的特征向量相连接，形成这个词的组合特征向量；步骤5：将文本中所有词的组合特征向量输入到一个长短期记忆网络中，取该长短期记忆网络最后一个节点的输出向量作为该文本的特征向量；步骤6：将步骤5得到的文本特征向量输入一个全连接神经网络，构建文本分类模型；步骤7：在标记数据集上对步骤2至步骤5构建的分类模型进行训练，得到两个长短期记忆网络和一个全连接神经网络的参数以及更新的词向量和字向量；步骤8：利用训练好的模型对新的文本进行分类，得到分类结果。