[发明专利]一种基于支持向量顺序回归的SMO改进方法

摘要

本发明提供一种基于支持向量顺序回归的SMO改进方法，首先划分顺序回归样本，扩展为多组二分类训练集，同时生成带有拉格朗日乘子的优化问题及其满足最优解的KKT条件；接着求出所有乘子的梯度；接着根据梯度分别给出每组训练集的上集合和下集合，结合顺序回归约束取出最大上集合元素及最小下集合元素，并计算每组差值；接着选出最违反KKT条件的差值所对应的一对乘子，对其优化更新；根据优化得出的差值及活动域，更新KKT条件中的控制变量；当满足KKT条件时，计算偏倚，得出最优解。本发明在简化并快速求解的同时，增加了对不定核的处理，提高了求解效率和SMO方法的可用性，适合快速处理采用各类核函数的支持向量顺序回归问题。

主权项

一种基于支持向量顺序回归的SMO改进方法，包括如下步骤：步骤1)，对顺序回归的训练样本{(X,Y)}，Y＝{1,2,…,r}进行划分，扩展为多组二分类训练集j＝1,...,r‑1，同时生成相应的带有拉格朗日乘子的优化问题：及其满足最优解的KKT条件：步骤2)，对步骤1)所生成的优化问题，对每个拉格朗日乘子的求其梯度，记为：步骤3)，根据梯度定义判别式分别给出每组训练集中的上集合有和下集合有且b_j‑1≥b_j，取出每组中最大上集合元素及最小下集合元素定义及当μ^j+1＞0时，否则当μ^j＞0时，否则其中，引入足够小的非负数eps，等价的KKT条件为计算当前每组的差值，选出最违反KKT条件的差值所对应的一对拉格朗日乘子和确定活动域j_α＝{j|min{j_o,j_u}+1,…,max{j_o,j_u}}，其中，当两个待优化的乘子处于同一组中，活动域为空。步骤4)，根据步骤3)所选出拉格朗日乘子和及活动域j_α，固定其他乘子不变，根据约束0≤α_o,α_u≤C，其中C为正则化参数，以及定义a＝Q_oo+Q_uu‑2y_oy_uQ_ou，Q为核矩阵，当a＞0，优化子问题：处理非正定核时，当a≤0时，引入正常量τ＞0；优化子问题：步骤5)，根据优化得出的差值及活动域j_α，更新KKT条件中的控制变量μ，若活动域不为空，当j_o＞j_u时，当j_o＜j_u时，步骤6)，判断更新后的拉格朗日乘子是否满足KKT条件，如果不满足，重复步骤3)‑5)，否则，转到步骤7)；步骤7)，当满足KKT条件时，计算各组所对应的偏倚b_j，从而得出最优解。