[发明专利]一种同时实现聚类、分类和度量学习的模式识别方法

摘要

本发明涉及一种能同时实现聚类、分类和度量学习的模式识别方法。该方法利用贝叶斯理论构造聚类和类别之间的概率关系矩阵P，并通过该矩阵使最终的聚类和分类结果都只依赖于聚类中心，因此，通过优化嵌在目标函数中的聚类中心，就可以在一个框架下同时实现聚类学习和分类学习。由于矩阵P可反映出聚类和分类之间的统计关系，因此可从P中挖掘出有意义的信息，使得分类器的设计趋于透明。本发明从聚类的观点看，提供了有监督聚类学习的结果，能够可靠地揭示数据的潜在结构；从分类的观点看，构造了有效的分类学习机制，可获得较好的分类结果；从度量学习的观点看，提供了有效的特征权值，可反映特征的重要程度。

主权项

1.一种同时实现聚类、分类和度量学习的模式识别方法，包括如下步骤：步骤1：对带有类标签的数据集合，建立一种可同时进行聚类学习和分类学习的模式识别机制，具体过程如下：a)对于给定训练样本及其类标号集合{x_i，y_i}，其中x_i∈R^d且y_i∈{1,2,…,L}，建立如下目标函数：J({vi})=Σi=1Nδ(f(xi),yi)N+βq(X)---(1)]]>其中f(x_i)和y_i分别为样本x_i的输出类别和期望类别；δ是损失函数，当f(x_i)=y_i，值为0，否则为1；q(X)表示聚类不纯度，参数β决定聚类纯度在目标函数中的重要程度，在{0.01,0.1,1}中选取；b)确定所述目标函数中的f(x_i)：f(xi)=argmax1≤l≤Lp(ωl|xi)---(2)]]>利用全概率公式，p(ω_l|x_i)可由下式计算：p(ωl|xi)=Σj=1cp(cj|xi)p(ωl|cj)---(3)]]>其中,p(c_j|x_i)是样本x_i的聚类后验概率p(cj|xi)=dist(xi,vj)-1Σj=1kdist(xi,vj)-1---(4)]]>其中的距离采用基于径向基核诱导出来的距离度量；p(ω_l|c_j)表示聚类的类后验概率，根据贝叶斯规则：p(ωl|cj)=Num(x∈ωlandx∈cj)Num(x∈cj)---(5)]]>对于每一个聚类c_j，p(ω_l|c_j)满足下面的约束：Σl=1Lp(ωl|cj)=1;]]>c)将所有的聚类的类后验概率p(ω_l|c_j)组建成一个c×L的矩阵P，其中c为聚类个数，L为类别个数:P=p(ω1|c1)p(ω2|c1)...p(ωL|c1)p(ω1|c2)p(ω2|c2)...p(ωL|c2)............p(ω1|cK)p(ω2|cK)...p(ωL|ck)---(6)]]>第i行元素[p(ω₁|c_i),p(ω₂|c_i)，…,p(ω_L|c_i)]表示第i个聚类和所有类别间的关系并且满足第j列元素[p(ω_j|c₁),p(ω_j|c₂),…,p(ω_j|c_c)]表示第j个类别和所有聚类间的关系；步骤2：将度量学习结合到聚类学习和分类学习中，建立一种同时实现聚类、分类和度量学习的模式识别机制，具体过程如下：a)定义度量学习问题：样本点x和y之间的距离如下：d(x,y)=dA(x,y)=(x-y)TA(x-y)---(7)]]>其中x∈R^d；A是待学习矩阵，并且为对角阵，A∈R^d×d；b)通过将所述待学习矩阵A引入基于径向基核的距离度量中，建立基于矩阵A的新距离度量：dA(xi,vj)=2-2×exp(-Σp=1d(w~pxip-v~jp)2σ2)---(8)]]>其中表示第p维特征的权值并且满足表示线性变化后的聚类中心；c)建立基于所述新距离度量的模式识别机制：通过采用新距离度量d_A(x，y)代替原始距离d(x，y)，产生SCCM的目标函数：J({w~p,v~i})=Σi=1Nδ(f(xi),yi)N+βq(X)---(9)]]>st:Σp=1dw~p=1]]>其中第一项是分类错误率，第二项是聚类不纯度，表示第p维特征的权值，表示新空间中的第j个聚类中心；步骤3：采用粒子群方法优化SCCM学习方法中的待定参数，具体过程如下：a)选取特征初始权值：通过下列目标函数选取特征初始权值：其中D_l表示类别是l的所有样本的下标集合，采用改进的粒子群方法优化该目标函数，可得到一组初始权值b)以所述初始权值为基础，再通过改进的粒子群方法同时优化公式(9)的目标函数中的特征权值和聚类中心