[发明专利]一种文本分类方法、装置、终端及计算机可读存储介质

说明书

本发明实施例涉及数据处理领域，公开了一种文本分类方法、装置、终端及计算机可读存储介质。本发明中，文本分类方法包括以下步骤：提取待分类文本的文本特征；其中，待分类文本的文本特征由待分类文本中任意M个字组成，M为大于1的正整数；确定每个待分类文本的文本特征在各个类别的语料中的词频‑逆文档频率；根据每个待分类文本的文本特征在各个类别的语料中的词频‑逆文档频率，确定待分类文本属于各个类别的置信度；根据待分类文本属于各个类别的置信度，确定待分类文本的类别。该实现中，由于提取的文本特征由待分类文本中任意M个字组成，使得能够针对同一语料，通过提取距离更长的文本特征的方法，得到更多文本特征，降低了对语料的规模的要求。

技术领域

本发明实施例涉及数据处理领域，特别涉及一种文本分类方法、装置、终端及计算机可读存储介质。

背景技术

文本分类(Text Categorization)是机器学习领域中的典型问题，目前已拥有众多的分类算法，例如，朴素贝叶斯算法，K近邻算法(k-nearest neighbor，K-NN)和神经网络算法等。文本分类过程中，常常用到词频-逆文档频率(term fequency-inverse documentfrequency，TF-IDF)模型，该模型凭借其简单、有效的优势在自然语言处理领域中得到了非常广泛的应用。

然而，发明人发现现有技术中至少存在如下问题：目前的文本分类方法中，一般采用基于一元字或多元的TF-IDF模型。基于一元字的TF-IDF模型的一般难以充分考虑文本中的相关信息，例如，一元字的TF-IDF模型认为出现“病”或“治”等关键字即可能为疾病方面的，具有较低的精确度。二元的TF-IDF模型将相邻的两个字作为特征，提取出包含两个字的词作为特征，但特征空间按增加，从而使得特征更为稀疏。故二元的TF-IDF模型在一定程度上弥补了一元模型的缺陷，但不适合小规模的语料。更高元的TF-IDF模型则提取特征更为稀疏，对语料的规模要求更高。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施方式的目的在于提供一种文本分类方法、装置、终端及计算机可读存储介质，使得能够针对同一语料，通过提取距离更长的文本特征的方法，得到更多文本特征，降低了对语料的规模的要求。

为解决上述技术问题，本发明的实施方式提供了一种文本分类方法，包括以下步骤：提取待分类文本的文本特征；其中，待分类文本的文本特征由待分类文本中任意M个字符组成，M为大于1的正整数；确定每个待分类文本的文本特征在各个类别的语料中的词频-逆文档频率；根据每个待分类文本的文本特征在各个类别的语料中的词频-逆文档频率，确定待分类文本属于各个类别的置信度；根据待分类文本属于各个类别的置信度，确定待分类文本的类别。

本发明的实施方式还提供了一种文本分类装置，包括：提取模块、第一确定模块、第二确定模块和第三确定模块；提取模块用于提取待分类文本的文本特征；其中，待分类文本的文本特征由待分类文本中任意M个字符组成，M为大于1的正整数；第一确定模块用于确定每个待分类文本的文本特征在各个类别的语料中的词频-逆文档频率；第二确定模块用于根据每个待分类文本的文本特征在各个类别的语料中的词频-逆文档频率，确定待分类文本属于各个类别的置信度；第三确定模块用于根据待分类文本属于各个类别的置信度，确定待分类文本的类别。

本发明的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的文本分类方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的文本分类方法。