[发明专利]基于预算支持向量集的LS‑SVMs在线学习方法

权利要求书

1.一种基于预算支持向量集合的LS-SVMs在线学习方法，其特征在于：含有以下步骤：

(一)利用训练样本确定预算范围；确定预算范围的具体步骤为：

(1)确定训练样本集合和测试样本集合；

(2)根据实际问题特征确定待测预算集合；

(3)依次选取预算n，按照预算n在训练样本集合中随机选取相应数目的样本，建立LS-SVMs模型，并应用测试样本集合测试该预算n的精度；

(4)执行步骤(3)10次，并计算各个预算的平均测试精度及平均测试时间；

(5)利用平均测试精度和平均测试时间绘制双纵轴曲线，综合考虑时间成本和LS-SVMs模型精度确定合理预算；

(二)按照预算随机选取初始支持向量集合，建立LS-SVMs模型，通过KKT条件将LS-SVMs模型转化为鞍点系统，将鞍点系统等价转化为两个正定系统并采用共轭梯度法进行求解，得到预测器；得到预测器的具体步骤为：

按照确定的预算n随机选取训练样本构造支持向量集合，建立LS-SVMs模型，LS-SVMs模型表示为：

其中，w为分类超平面的法向量，b为分类超平面的截距项，eⁱ为误差项，v为模型正则化参数，表示特征映射，通过指定核函数的方式隐式确定；

通过KKT条件将LS-SVMs模型转化为鞍点系统，表示为：

$\left[\begin{array}{cc}{K}_{ij}+{\mathrm{vI}}_n& 1_n\\ 1_n^T& 0\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ b\end{array}\right]=\left[\begin{array}{c}y\\ 0\end{array}\right]---\left(2\right)$

其中，k(·,·)为核函数，由用户指定；

将鞍点系统等价转化为两个正定系统，表示为：

$\left\{\begin{array}{c}H\mathrm{\μ}=y\\ H\mathrm{\η}=1_n\end{array}\right.---\left(3\right)$

采用共轭梯度法求解所述两个正定系统，得到决策系数α和偏置系数b为：

$\left\{\begin{array}{c}\mathrm{\α}=\mathrm{\μ}-b\mathrm{\η}\\ b=1_n^T\mathrm{\μ}/1_n^T\mathrm{\η}\end{array}\right.---\left(4\right)$

进而获得预测器为：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_{i}K(x_i,x)+b---\left(5\right);$

(三)以mini-batch或one-by-one的形式采集数据流，采用预测器对数据流中的样本进行预测；

(四)将错误预测样本加入支持向量集合，并按照最大相似性或时间准则剔除相应数量支持向量，维持预算稳定；

(五)利用低秩矩阵校正方法以及Sherman-Morrison-Woodbury公式更新LS-SVMs模型，得到在线预测器，通过在线预测器对数据流进行在线预测。

2.根据权利要求1所述的基于预算支持向量集合的LS-SVMs在线学习方法，其特征在于：步骤(五)中，利用低秩矩阵校正方法以及Sherman-Morrison-Woodbury公式更新LS-SVMs模型，得到在线预测器的具体步骤为：

(1)采用数据流中的样本取代原支持向量集合的样本

(2)构造校正矩阵U∈R^n+1,m，具体表示为：以及构造矩阵V∈R^n+1,m，具体表示为：

(3)将校正矩阵U∈R^n+1,m和校正矩阵V∈R^n+1,m与鞍点矩阵相加，即：

$U^{T}V+V^{T}U+\left[\begin{array}{cc}K+{\mathrm{vI}}_n& 1_n\\ 1_n^T& 0\end{array}\right]---\left(7\right)$

通过上述公式(7)进行鞍点矩阵的更新；

(4)利用Sherman-Morrison-Woodbury公式得到更新后鞍点矩阵的逆矩阵为：

Q^-1-Q^-1V(I+U^TQ^-1V)^-1U^TQ^-1(8)

式中，Q^-1＝A^-1-A^-1U(I+VA^-1U)^-1V^TA^-1,

(5)根据支持向量集合更新鞍点系统的右端向量并计算出新的决策系数和偏置系数，获得更新后的预测器，更新后的预测器即为在线预测器。