[发明专利]基于数据分布特征的保序学习机

说明书

本发明涉及机器学习领域，公开了一种基于数据分布特征的保序学习机，在分类时保持样本的相对顺序不变。本发明通过引入线性判别分析中的类内离散度用以表征数据的分布特征，通过在优化问题的约束条件中增加各类样本中心相对关系的限制，用以确保分类过程中将样本的相对关系考虑在内。本发明适用于模式分类。

技术领域

本发明涉及机器学习领域，特别涉及基于数据分布特征的保序学习机。

背景技术

模式分类是机器学习、模式识别、数据挖掘等领域的研究热点之一。常见的分类方法有：决策树、关联规则、朴素贝叶斯、支持向量机等。这些方法在实际应用中取得了良好的分类效果，但依然面临以下挑战：(1)分类过程并未考虑数据的分布特征，无法进一步提升分类性能；(2)分类结果忽视了各类样本的相对关系。

发明内容

本发明要解决的技术问题是：提供一种基于数据分布特征的保序学习机，在分类时保持样本的相对顺序不变。

为解决上述问题，本发明采用的技术方案是：基于数据分布特征的保序学习机(Rank Preservation Learning Machine based on Data Distribution Fusion,RPLM-DDF)，通过引入线性判别分析(Linear Discriminant Analysis,LDA)中的类内离散度S_W用以表征数据的分布特征，通过在优化问题的约束条件中增加各类样本中心相对关系的限制，以确保分类过程中将样本的相对关系考虑在内。

进一步的，具体的算法流程如下：

A.利用训练数据集建立基于类内离散度以及各类样本中心相对关系的限制的学习机模型，所述学习机模型的最优化问题为：

其约束条件为：s.t.W^T(m_i+1-m_i)≥ρ，i＝1,2,…,c-1

其中，W为分类超平面的法向量，β为平衡因子，v是通过网格搜索策略选择的常数，ρ为各类样本间距，是各类样本均值，c是类别数，S_W是类内离散度，其定义为：其中C_i表示第i类样本集合，p(C_i)＝N_i/N；

B.利用Lagrangian乘子法将所述学习机模型的最优化问题转化为QP对偶形式，求得分类超平面的法向量；

C.根据求得的法向量定义判别函数。

进一步的，步骤B中，利用Lagrangian乘子法将所述学习机模型的最优化问题转化为对偶形式的步骤包括：

B1.将所述学习机模型的最优化问题表示为以下Lagrangian函数式：

其中，Lagrangian乘子α≥0；

B2.L(W,ρ,α)分别对_ρ,α求偏导并令偏导为0，得到：

B3.将步骤B2得到的等式代入步骤B1中的Lagrangian函数式得到最优化问题的以下对偶形式：

其约束条件为：

进一步的，所述判别函数为：

其中，b_k＝W^T(m_i+1+m_i)/2。