[发明专利]一种文本分类方法、装置、设备及计算机可读存储介质

权利要求书

1.一种文本分类方法，其特征在于，包括：

接收待分类文本，并根据通过对训练文本数据集中各文本预先训练得到的特征项集合，将所述待分类文本映射为目标维度的目标特征向量；其中，所述特征项集合为结合分词算法、利用词频和逆向文件频率的乘积计算特征权重的计算算法及信息增益算法对所述训练文本数据集进行训练得到的；

计算所述目标特征向量与所述训练文本数据集中各文本的特征向量的欧氏距离，并对各所述欧式距离进行大小排序；

选取排序中欧式距离小的一端的前第一预设数量个所述欧式距离对应的文本，作为所述待分类文本的各邻居文本；

基于各所述邻居文本利用K最近邻算法计算所述待分类文本对于文本类别集合中各类文本的权重；其中，所述文本类别集合为预先依据所述特征项集合对所述训练文本数据集中各所述文本进行分类得到的；

对所述训练文本数据集进行训练得到所述特征项集合和所述文本类别集合的训练过程包括：

利用jieba分词算法分别对所述训练文本数据集中各文本进行分词，得到各所述文本的分词集合；

计算各所述分词集合中各词的词频和逆向文件频率，并计算各所述分词集合中各词分别对应的词频和逆向文件频率的乘积，得到各所述分词集合中各词分别对应的特征权重；

根据所述特征权重分别对每个文本对应的分词集合中各词进行权重排序，对每个文本从权重排序中权重大的一端选取前第二预设数量的词作为各所述文本的初选特征词，并将各所述初选特征词合并得到所述训练文本数据集的初选特征词集合；

利用所述信息增益算法计算所述初选特征词集合中各所述初选特征词的信息增益值，对各所述信息增益值进行增益值排序；

从增益值排序中增益值大的一端选取第三预设数量的所述初选特征词作为终级特征词，得到由各所述终级特征词构成的特征项集合，并根据各所述终级特征词对所述训练文本数据集中各文本进行分类，得到所述文本类别集合；

将权重最大值对应的文本类别确定为所述待分类文本的文本类别。

2.根据权利要求1所述的文本分类方法，其特征在于，利用jieba分词算法分别对所述训练文本数据集中各文本进行分词，包括：

利用jieba分词算法的精确模式分别对所述训练文本数据集中各文本进行分词。

3.根据权利要求2所述的文本分类方法，其特征在于，在利用jieba分词算法分别对所述训练文本数据集中各文本进行分词之前，还包括：

去除所述训练文本数据集中各所述文本的非法格式字符。

4.根据权利要求3所述的文本分类方法，其特征在于，在得到各所述文本的分词集合之后，还包括：

去除各所述文本的分词集合中的停用词。