[发明专利]一种文本分类方法、装置、终端及存储介质

说明书

本发明实施例涉及数据处理领域，公开了一种文本分类方法、装置、终端及存储介质。本申请的部分实施例中，文本分类方法包括：提取待分类文本的文本特征；通过最佳匹配模型BM25算法，确定每个待分类文本的文本特征与各个类别的语料的相关度；根据每个待分类文本的文本特征与各个类别的语料的相关度，确定待分类文本属于各个类别的置信度；根据待分类文本属于各个类别的置信度，确定待分类文本所属的类别。该实现中，通过BM25算法计算待分类文本的文本特征与各个类别的语料的相关度，使得在对文本分类的过程中，能够充分考虑各个类别的语料的数量对相关度的影响，减少了各个类别的语料的数量的差异对分类的准确度的影响。

技术领域

本发明实施例涉及数据处理领域，特别涉及一种文本分类方法、装置、终端及存储介质。

背景技术

文本分类(Text Categorization)是机器学习领域中的典型问题，目前已拥有众多的分类算法，例如，朴素贝叶斯算法，K邻近算法(K-NN)和神经网络算法等。文本分类过程中，常常用到词频-逆文档频率(term frequency–inverse document frequency，TF-IDF)模型，该模型凭借其简单、有效的优势在自然语言处理领域中得到了非常广泛的应用。

然而，发明人发现现有技术中至少存在如下问题：目前，一般使用基于一元字或多元字的TF-IDF模型进行文本分类。然而，基于一元字或多元的TF-IDF模型在进行文本分类时，未充分考虑各个类别的数量的差异，导致最终的分类结果往往不够准确。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施方式的目的在于提供一种文本分类方法、装置、终端及存储介质，使得在对文本分类的过程中，能够充分考虑各个类别的语料的数量对相关度的影响，减少了各个类别的语料的数量的差异对分类的准确度的影响。

为解决上述技术问题，本发明的实施方式提供了一种文本分类方法，包括以下步骤：提取待分类文本的文本特征；通过最佳匹配模型(Best Match25，BM25)算法，确定每个待分类文本的文本特征与各个类别的语料的相关度；根据每个待分类文本的文本特征与各个类别的语料的相关度，确定待分类文本属于各个类别的置信度；根据待分类文本属于各个类别的置信度，确定待分类文本所属的类别。

本发明的实施方式还提供了一种文本分类装置，包括：提取模块、第一确定模块、第二确定模块和分类模块；提取模块用于提取待分类文本的文本特征；第一确定模块用于通过最佳匹配模型BM25算法，确定每个待分类文本的文本特征与各个类别的语料的相关度；第二确定模块用于根据每个待分类文本的文本特征与各个类别的语料的相关度，确定待分类文本属于各个类别的置信度；分类模块用于根据待分类文本属于各个类别的置信度，确定待分类文本所属的类别。

本发明的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的文本分类方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的文本分类方法。

本发明的实施方式相对于现有技术而言，相对于基于一元字或多元字的TF-IDF模型，BM25算法在计算每个待分类文本的文本特征与各个类别的语料的相关度时，充分考虑了各个类别的语料的数量对待分类文本的文本特征与各个类别的语料的相关度的影响，使得待分类文本的文本特征与该类别的语料的相关度更为准确，进而提高了分类的准确度。