[发明专利]一种基于DSVM的大数据分类预测方法

说明书

本发明提供了一种基于DSVM的大数据分类预测方法，包括：步骤S1:利用SVM对训练集X分类,若分类正确，则进入步骤S5,若分类不正确，则进入步骤S2；步骤S2：从训练集X中寻找错分类样例集合Y；步骤S3：对错分类样例集合Y的数据进行DSVM数据处理；步骤S4：利用处理过的数据训练分类器；步骤S5：结束。与现有技术相比，本发明的有益效果在于，本发明提供的基于DSVM的大数据分类预测方法通过对错分类数据进行DSVM数据处理，然后再利用处理过的数据，来训练分类器，能够很好的提高分类器的分类正确率和分类效率。

技术领域

本发明涉及机器学习与数据挖掘分析技术领域，具体而言，涉及一种基于DSVM的大数据分类预测方法。

背景技术

随着云计算、物联网、人工智能等信息技术的发展，数据挖掘被认为是一门非常重要的、具有广阔应用前景和富有挑战性的研究领域，并引起了众多学科研究者的广泛关注。数据分类技术是数据挖掘的一种重要挖掘方法。如何针对大数据，有效的对数据进行处理、分类、识别，并根据现有的数据来预测未来的发展趋势以辅助决策的智能化、自动化，成为一个非常迫切的问题。

差分进化算法(Differential Evolution,DE)是自组织全局的搜索算法，具有记忆个体最优解和群内信息共享的特点，已经在实际的应用中被证明具有并行性、高效性、鲁棒性等优点。差分进化的基本原理就是，用群体的差异向量来修正各个体的值，主要利用变异、交叉、选择这三种基本的操作，通过把群体中两个样本向量的差加权后，按一定的方式与第三个样本相加来产生新的样本，然后将新产生的样本与其父代样本进行比较，如果新样本的目标值优于父样本的目标值，则在下一代中就用新样本取代，否则，父代样本仍然保留。

支持向量机(Support Vector Machine,SVM)是数据挖掘的一种方法，可用于处理回归问题(时间序列分析)和模式识别(分类问题、判别分析)等诸多问题，并可推广于预测和综合评价等领域。SVM是将向量映射到一个更高维的空间里，在这个空间里建立一个最大间隔超平面。在分开数据的超平面的两边建有两个相互平行的超平面，建立方向合适的分隔超平面，使两个与之平行的超平面的间距最大化。其假定为，平行超平面间的距离或间隔越大，分类器的总误差越小。SVM在分类和回归等方面虽然都已经取得了很好的效果，但在这过程中却忽略了对错分类数据的再利用。

发明内容

鉴于此，本发明提出了一种基于DSVM的大数据分类预测方法，旨在解决错分类数据无法再利用的技术问题。

本发明提出了一种基于DSVM的大数据分类预测方法，包括：

步骤S1:利用SVM对训练集X分类,若分类正确，则进入步骤S5,若分类不正确，则进入步骤S2；

步骤S2：从训练集X中寻找错分类样例集合Y；

步骤S3：对错分类样例集合Y的数据进行DSVM数据处理；

步骤S4：利用处理过的数据训练分类器，以提高分类器的分类正确率和分类效率；

步骤S5：结束。

进一步地，所述步骤S2包括：

步骤S2-1：选择SVM核函数K(x,y)，并初始化参数v_i、C；

步骤S2-2：针对训练集X中所有训练样本利用SVM算法模型进行分类训练学习，并记录每个错误的分类样例x_i，组成集合Y。

进一步地于，步骤S2-2中，包括：

步骤S2-2-1：将训练集X中每条记录映射到相应的核空间R′；

步骤S2-2-2：计算其内积；

步骤S2-2-3：若分类结果正确，则不作任何操作；