[发明专利]文本分类的方法和装置

说明书

本发明公开一种文本分类的方法和装置，该方法包括：获取多个样本文本；对每个样本文本进行分词处理得到多个词语，并获取每个词语的词性信息；根据多个词语和每个词语对应的词性信息建立神经网络分类模型；将待分类的文本作为神经网络分类模型的输入，得到待分类的文本的类型。

技术领域

本公开涉及数据处理领域，具体地，涉及一种文本分类的方法和装置。

背景技术

随着互联网的发展，新闻聚合类网站能够对在互联网上传输的大量新闻信息进行分类，例如将信息分为社会类、体育类以及娱乐类等类型的信息，从而方便用户查看。

现有的新闻聚合类网站大多会从其他网站中抓取新闻信息，并根据新闻信息中记载的文本内容通过特定的分类算法对新闻信息进行分类，一种常见的分类方法是朴素贝叶斯分类，但是这种方法有一个假设，就是各个词之间彼此是相互独立的，但是在实际情况中一个句子中前后的词语可能并不独立，因此，现有的分类方法无法准确对文本进行分类。

发明内容

本公开的目的是提供一种文本分类的方法和装置，以至少解决现有技术中文本分类不准确的技术问题。

为了实现上述目的，本公开提供一种文本分类的方法，包括：获取多个样本文本；对每个样本文本进行分词处理得到多个词语，并获取每个所述词语的词性信息；根据所述多个词语和每个词语对应的词性信息建立神经网络分类模型；将待分类的文本作为所述神经网络分类模型的输入，得到所述待分类的文本的类型。

可选地，所述根据所述多个词语和每个词语对应的词性信息建立神经网络分类模型包括：按照预设处理方式对所述分类样本集中的每个样本文本进行处理得到所述每个样本文本的文本向量；根据每个样本文本的文本向量建立神经网络分类模型；其中，所述预设处理方式包括：根据目标样本文本的每个词语和对应的词性信息生成所述目标样本文本的每个词语对应的词语向量；其中，所述目标样本文本为所述分类样本集中的任一样本文本；根据所述每个词语对应的词语向量生成所述目标样本文本对应的二叉树；其中，所述二叉树的叶节点分别对应所述每个词语向量，所述二叉树的根节点对应所述目标文本的文本向量；根据所述词语向量通过所述二叉树获取所述目标样本文本的文本向量。

可选地，所述根据所述每个词语对应的词语向量生成所述目标样本文本对应的二叉树包括：获取每个词语在所述目标文本中的词语顺序；根据所述词语顺序确定所述目标文本中第一个词语对应的第一节点和第二个词语对应的第二节点，并建立所述第一节点和所述第二节点的第一父节点；确定第三个词语对应的第三节点，并建立所述第三节点与所述第一父节点的第二父节点，继续按照所述词语顺序确定第四个词语对应的第四节点，并建立所述第四节点与所述第二父节点的第三父节点，直至按照所述词语顺序确定出最后一个词语对应的节点的父节点，得到所述二叉树。

可选地，所述根据所述词语向量通过所述二叉树获取所述目标样本文本的文本向量包括：根据每个词语的词性确定所述二叉树中每个父节点对应的组合词性；获取每个组合词性对应的第一分类权重，并将所述第一分类权重中相同词性的组合词性对应的第一分类权重相加，得到第二分类权重；根据所述词语向量和所述每个父节点对应的组合词性以及所述第二分类权重，从所述二叉树的最底层依次向上计算所述二叉树每个父节点对应的组合向量，直至得到所述根节点对应的文本向量。

可选地，所述获取每个组合词性对应的第一分类权重包括：

获取每个父节点对应的误差值；

根据所述误差值按照以下公式计算得到所述每个父节点对应的第一分类权重：

其中，W_i为第i个父节点的第一分类权重，E(θ)为预设目标函数，M为第i个父节点对应的一个子节点和第i个父节点对应的另一个子节点的词语向量组合得到的词组向量，δⁱ为第i个父节点对应的误差值，θ为该目标样本文本中每个组合词性对应的第一分类权重。