[发明专利]基于预算支持向量集的LS‑SVMs在线学习方法

说明书

技术领域

本发明属于数据挖掘与机器学习领域，涉及数据挖掘和数据处理的方法，具体地说，涉及一种基于预算支持向量集合的LS-SVMs在线学习方法。

背景技术

LS-SVMs是在结构风险最小化原则基础上建立的典型核学习模型。作为具有良好光滑化结构的凸优化问题，LS-SVMs模型的KKT条件可以转化为(2,2)块为1阶的特殊鞍点系统。当前求解LS-SVMs模型的主流方法主要包括：(一)利用预处理子将上述鞍点系统等价转化为两个正定系统，并使用经典的共轭梯度算法求解正定系统；(二)将鞍点系统表示为两个线性方程组，并采用零空间法方法进行求解；(三)采用最小残差法直接求解鞍点系统。这些方法都属于批处理技术，算法的计算复杂度为O(n³)，其中n为样本个数。然而，许多实际应用问题面向的数据具有数据流的特性，如动态工业生产过程、垃圾邮件处理系统等，采集的样本都是以数据流的形式随时间推移不断出现的。批处理算法由于计算复杂度太高，不适合处理上述数据流问题。为此，国内外的学者们开始研究LS-SVMs的在线学习算法，以降低计算复杂度，减少模型运行时间，标志性成果是H.M.Chi和O.K.Ersoy提出的LS-SVMs递归更新算法。该方法利用Sherman-Morrison-Woodbury公式迭代更新LS-SVMs模型的鞍点系统，将计算复杂度从O(n³)降到O(n²)。由于采集样本量将随时间线性增长，LS-SVMs模型的规模、存储空间、运行时间都将随之不断增加。为解决上述问题，亟需建立一种固定预算的在线LS-SVMs学习方法，在保证模型精度的同时有效控制模型的存储空间和训练时间，以适应数据流环境。

发明内容

本发明的目的在于针对现有LS-SVMs在线学习方法无法有效控制模型规模等上述不足，提供了一种基于预算支持向量集合的LS-SVMs在线学习方法，该方法能够降低模型存储空间，减少运行时间，满足应用问题的实时性需求。

根据本发明一实施例，提供了一种基于预算支持向量集合的LS-SVMs在线学习方法，含有以下步骤：

(一)利用训练样本确定预算范围。

(二)按照预算随机选取初始支持向量集合，建立LS-SVMs模型，通过KKT条件将LS-SVMs模型转化为鞍点系统，将鞍点系统等价转化为两个正定系统并采用共轭梯度法进行求解，得到预测器。

(三)以mini-batch的形式采集数据流，采用预测器对数据流中的样本进行预测。

(四)将错误预测样本加入支持向量集合，并按照最大相似性或时间准则剔除相应数量支持向量，维持预算稳定。

(五)利用低秩矩阵校正方法以及Sherman-Morrison-Woodbury公式更新LS-SVMs模型，得到在线预测器，通过在线预测器对数据流进行在线预测。

在根据本发明实施例的学习方法中，步骤(一)中，确定预算范围的具体步骤为：

(1)确定训练样本集合和测试样本集合；为降低各个输入特征在数量级上的差异对模型性能所产生的影响，采用如下标准化处理方式对样本数据进行预处理，其中表示原始采集数据，m(x^j)表示第j个特征的平均值，σ(x^j)表示第j个采集变量的标准差。

(2)根据实际问题特征确定待测预算集合。

(3)依次选取预算n，按照预算n在训练样本集合中随机选取相应数目的样本，建立LS-SVMs模型，并应用测试样本集合测试该预算n的精度。

(4)执行步骤(3)10次，并计算各个预算的平均测试精度及平均测试时间。

(5)利用平均测试精度和平均测试时间绘制双纵轴曲线，综合考虑时间成本和LS-SVMs模型精度确定合理预算。

在根据本发明实施例的学习方法中，步骤(二)中，得到预测器的具体步骤为：

按照确定的预算n随机选取训练样本构造支持向量集合，建立LS-SVMs模型，LS-SVMs模型表示为：

其中，w为分类超平面的法向量，b为分类超平面的截距项，e_i为误差项，v为模型正则化参数，表示特征映射，通过指定核函数的方式隐式确定。

通过KKT条件将LS-SVMs模型转化为鞍点系统，表示为：

其中，k(·,·)为核函数，由用户指定。

将鞍点系统等价转化为两个正定系统，表示为：