[发明专利]一种文本数据分类方法及服务器

说明书

本发明实施例公开了一种文本数据分类方法及服务器，该方法包括：服务器通过支持向量机SVM算法对第一训练集进行分析，并根据分析得到的第一分类模型对第一测试集进行分类测试，第一训练集和第一测试集均包含多个支持向量，每个支持向量包含K个与K个特征词对应的权重因子，每个特征因子对应一个特征词；根据目标支持向量的权重因子和第一分类模型中的参数计算K个特征词中每个特征词在目标支持向量中的相对权重；通过SVM算法对第二训练集进行分析，并根据分析得到的第二分类模型对第二测试集进行分类测试，第二训练集和第二测试集中的支持向量均包含K个特征词中的除目标特征词以外的特征词对应的权重因子。采用本发明，能够降低分类模型分类的错误率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文本数据分类方法及服务器。

背景技术

支持向量机(英文：Support Vector Machine，简称：SVM)是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析等。图1是现有技术中基于SVM算法进行数据分类的流程示意图，具体包括：

分类服务器获取已分类的文本数据并通过预设的分词算法提取该已分类的文本数据中的特征词。计算各个特征词的权重并通过向量分别表示每个特征词的权重。将得到的向量中的一部分向量作为训练集，以及将得到的向量中的另一部分向量作为测试集。通过SVM训练系统对该训练集中的向量进行分析以得到模型文件，通过该模型文件对该测试集中的向量分类。参照预先分类的结果判断通过该分类模型分类的结果的错误率是否在预设范围内，若错误率不在预设范围内，则重新获取训练集并基于获取的新训练集计算模型文件，若错误率在预设范围内，则将该模型文件作为对文本数据进行分类的模型。然后，获取未分类数据并通过预设的分词算法提取该未分类数据中的特征词；计算各个特征词的权重并通过向量表示特征词的权重；通过分类的错误率落入预设范围的模型文件对该向量分类并输出分类结果。

现有技术的缺陷在于，当分类模型分类结果的错误率超出预设范围时，重新获取的训练集具有偶然性，不一定能够降低该模型文件分类的错误率。

发明内容

本发明实施例公开了一种文本数据分类方法及服务器，能够降低分类模型分类的错误率。

第一方面，本发明实施例提供一种文本数据分类方法，该方法包括：

服务器通过支持向量机SVM算法对第一训练集进行分析，并根据分析得到的第一分类模型对第一测试集进行分类测试，所述第一训练集和所述第一测试集均包含多个支持向量，每个支持向量包含K个与K个特征词对应的权重因子，每个所述权重因子对应一个特征词，所述权重因子的数值大小与所述权重因子对应的特征词在所述支持向量描述的文本数据中出现的次数成正相关，K为大于1的正整数；

所述服务器根据目标支持向量的权重因子和所述第一分类模型中的参数计算所述K个特征词中每个特征词在所述目标支持向量中的相对权重，所述目标支持向量为所述第一测试集中利用所述第一分类模型得到的分类测试结果与预设分类不相符的支持向量；

所述服务器通过所述SVM算法对第二训练集进行分析，并根据分析得到的第二分类模型对第二测试集进行分类测试，所述第二训练集和所述第二测试集中的支持向量均包含所述K个特征词中的除目标特征词以外的特征词对应的权重因子，所述目标特征词为所述目标支持向量中的相对权重小于第一预设阈值的特征词；如果通过所述第二分类模型分类测试得到的分类错误率不高于目标预设阈值时，确认使用所述第二分类模型对待分类的文本数据进行分类。可选的，特征词在该目标支持向量中的权重与该特征词在该目标支持向量对应的文本数据中的出现的次数成正相关，该权重可以通过权重因子来表示；该特征词在该第一训练集中的权重具体指该特征词在该第一训练集中各个支持向量中的权重进行加权得到的权重，例如，该第一训练集中包含支持向量X1、X2、X3和X4，将特征词1在X1中的权重、特征词1在X2中的权重、特征词1在X3中的权重和特征词1在X3中的权重相加，并将相加得到的值除以4得到的值为该特征词1在该第一训练集中的相对权重。