[发明专利]基于预算支持向量集的LS‑SVMs在线学习方法

摘要

本发明涉及一种基于预算支持向量集的LS‑SVMs在线学习方法，在训练集上确定预算范围，选择初始支持向量集合，建立LS‑SVMs模型，采用共轭帝都发求解LS‑SVMs模型，并利用低秩矩阵校正方法以及Sherman‑Morrison‑Woodbury公式更新LS‑SVMs模型得到在线预测器，实现了对数据流的在线预测，该方法采用固定预算策略，能有效控制在线学习模型的规模、节约存储空间、计算复杂度低、易于实现。本发明在线学习方法，能够灵活处理具有数据流特征的在线应用问题，数据可以以数据块的形式收集，与传统批处理方式以及当前的在线学习方法相比，大幅度降低了计算复杂难度和模型运行时间，可以同时处理回归问题和分类问题，能够高效处理LS‑SVMs模型选择问题。

主权项

一种基于预算支持向量集合的LS‑SVMs在线学习方法，其特征在于：含有以下步骤：(一)利用训练样本确定预算范围；确定预算范围的具体步骤为：(1)确定训练样本集合和测试样本集合；(2)根据实际问题特征确定待测预算集合；(3)依次选取预算n，按照预算n在训练样本集合中随机选取相应数目的样本，建立LS‑SVMs模型，并应用测试样本集合测试该预算n的精度；(4)执行步骤(3)10次，并计算各个预算的平均测试精度及平均测试时间；(5)利用平均测试精度和平均测试时间绘制双纵轴曲线，综合考虑时间成本和LS‑SVMs模型精度确定合理预算；(二)按照预算随机选取初始支持向量集合，建立LS‑SVMs模型，通过KKT条件将LS‑SVMs模型转化为鞍点系统，将鞍点系统等价转化为两个正定系统并采用共轭梯度法进行求解，得到预测器；得到预测器的具体步骤为：按照确定的预算n随机选取训练样本构造支持向量集合，建立LS‑SVMs模型，LS‑SVMs模型表示为：其中，w为分类超平面的法向量，b为分类超平面的截距项，ei为误差项，v为模型正则化参数，表示特征映射，通过指定核函数的方式隐式确定；通过KKT条件将LS‑SVMs模型转化为鞍点系统，表示为：Kij+vIn1n1nT0αb=y0---(2)]]>其中，k(·,·)为核函数，由用户指定；将鞍点系统等价转化为两个正定系统，表示为：Hμ=yHη=1n---(3)]]>采用共轭梯度法求解所述两个正定系统，得到决策系数α和偏置系数b为：α=μ-bηb=1nTμ/1nTη---(4)]]>进而获得预测器为：f(x)=Σi=1nαiK(xi,x)+b---(5);]]>(三)以mini‑batch或one‑by‑one的形式采集数据流，采用预测器对数据流中的样本进行预测；(四)将错误预测样本加入支持向量集合，并按照最大相似性或时间准则剔除相应数量支持向量，维持预算稳定；(五)利用低秩矩阵校正方法以及Sherman‑Morrison‑Woodbury公式更新LS‑SVMs模型，得到在线预测器，通过在线预测器对数据流进行在线预测。