[发明专利]一种基于随机扰动的支持向量机奇异问题处理方法

权利要求书

1.一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，包括如下步骤：

步骤1：读取两组不同类别的数据集作为训练样本，随机重复添加较少类别的数据点，使得两类数据点的数量相同，对每一个样本数据点的特征向量进行归一化处理；

步骤2：选择核函数，计算内核矩阵K；

步骤3：初始化随机扰动系数η、拉格朗日乘子α、辅助集合ε,设置迭代次数计数变量l＝0；

步骤4：判断ε是否为空集，若不是空集，直接进入下一步；若是空集，初始化ε,计算正则化参数λ和变量μ；

步骤5：构造随机扰动影响下的KKT方程组，并求解该方程组，更新λ,μ,α和ε,

步骤6：令l＝l+1，返回步骤4，直到λ＜0.01或集合变为空集终止，输出完整的正则化路径。

2.根据权利要求1所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤1的具体实现包括：

读取两组不同类别的数据集作为训练样本，其中第i个数据点记为(x_i,y_i)，x_i表示第i个数据点的特征向量，y_i是第i个数据点对应的标签；

令数据点个数较多的类别的标签为1，数据点个数较少的类别的标签为-1。

随机重复添加标签为-1的数据点，使得标签为-1的数据点个数与标签为1的数据点相等，记总的数据点个数为N；将每个数据点的特征向量归一化处理为具有零均值、方差为1的数据。

3.根据权利要求1所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤2中：核函数为线性核函数时，其中[·]_i,j表示矩阵第i行第j列的元素。

4.根据权利要求1所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤2中：核函数为高斯径向基核函数时，

5.根据权利要求1所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤3的具体实现包括：

初始化随机扰动系数的每个元素为一个高斯随机数，初始化拉格朗日乘子为全1元素，初始化辅助集合其中表示空集，设置迭代次数计数变量l＝0。

6.根据权利要求5所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤4的具体实现包括：

判断ε是否为空集，若不是空集，直接进入下一步；若是空集，在集合中选取两个标签分别为1和-1的数据点和初始化ε,计算正则化参数λ和变量μ：

其中，\表示差集运算，K_i,j表示矩阵K第i行第j列的元素。

7.根据权利要求5所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤5中构造随机扰动影响下的KKT方程组：

其中，(·)^T表示转置运算，[Q]_i,j＝y_iy_j[K]_i,j，μ′＝dμ/dλ，[α′]_i＝dα_i/dλ，[·]_i表示向量第i个元素，(·)_ε表示由集合ε索引对应元素组成的子向量，(·)_ε,ε表示由集合ε索引对应的行和列组成的子矩阵；

求解该方程组，得：

8.根据权利要求7所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤5中更新λ,μ,α和ε,的方法如下：

计算λ沿[μ′(α′_ε)^T]^T向量方向的步长的最大值Δλ：

Δλ＝max{Δλ₁,Δλ₂,Δλ₃}

其中：

q_i表示矩阵Q的第i列；将得到的Δλ对应数据点的索引记为i^*。

更新λ,μ,α：

λ＝λ+Δλ

μ＝μ+Δλ·μ′

α＝α+Δλ·α′

更新ε,

若Δλ＝Δλ₁，则ε＝ε\{i^*},

若Δλ＝Δλ₂，则ε＝ε\{i^*},

若Δλ＝Δλ₃，则ε＝ε∪{i^*},