[发明专利]一种同时实现聚类、分类和度量学习的模式识别方法

权利要求书

1.一种同时实现聚类、分类和度量学习的模式识别方法，包括如下步骤：

步骤1：对带有类标签的数据集合，建立一种可同时进行聚类学习和分类学习的模式识别机制，具体过程如下：

a)对于给定训练样本及其类标号集合{x_i，y_i}，其中x_i∈R^d且y_i∈{1,2,…,L}，建立如下目标函数：

J({vi})=Σi=1Nδ(f(xi),yi)N+βq(X)---(1)]]>

其中f(x_i)和y_i分别为样本x_i的输出类别和期望类别；δ是损失函数，当f(x_i)=y_i，值为0，否则为1；q(X)表示聚类不纯度，参数β决定聚类纯度在目标函数中的重要程度，在{0.01,0.1,1}中选取；

b)确定所述目标函数中的f(x_i)：

f(xi)=argmax1≤l≤Lp(ωl|xi)---(2)]]>

利用全概率公式，p(ω_l|x_i)可由下式计算：

p(ωl|xi)=Σj=1cp(cj|xi)p(ωl|cj)---(3)]]>

其中,p(c_j|x_i)是样本x_i的聚类后验概率p(cj|xi)=dist(xi,vj)-1Σj=1kdist(xi,vj)-1---(4)]]>

其中的距离采用基于径向基核诱导出来的距离度量；

p(ω_l|c_j)表示聚类的类后验概率，根据贝叶斯规则：

p(ωl|cj)=Num(x∈ωlandx∈cj)Num(x∈cj)---(5)]]>

对于每一个聚类c_j，p(ω_l|c_j)满足下面的约束：Σl=1Lp(ωl|cj)=1;]]>

c)将所有的聚类的类后验概率p(ω_l|c_j)组建成一个c×L的矩阵P，其中c为聚类个数，L为类别个数:

P=p(ω1|c1)p(ω2|c1)...p(ωL|c1)p(ω1|c2)p(ω2|c2)...p(ωL|c2)............p(ω1|cK)p(ω2|cK)...p(ωL|ck)---(6)]]>

第i行元素[p(ω₁|c_i),p(ω₂|c_i)，…,p(ω_L|c_i)]表示第i个聚类和所有类别间的关系并且满足第j列元素[p(ω_j|c₁),p(ω_j|c₂),…,p(ω_j|c_c)]表示第j个类别和所有聚类间的关系；

步骤2：将度量学习结合到聚类学习和分类学习中，建立一种同时实现聚类、分类和度量学习的模式识别机制，具体过程如下：

a)定义度量学习问题：

样本点x和y之间的距离如下：

d(x,y)=dA(x,y)=(x-y)TA(x-y)---(7)]]>

其中x∈R^d；A是待学习矩阵，并且为对角阵，A∈R^d×d；

b)通过将所述待学习矩阵A引入基于径向基核的距离度量中，建立基于矩阵A的新距离度量：

dA(xi,vj)=2-2×exp(-Σp=1d(w~pxip-v~jp)2σ2)---(8)]]>

其中表示第p维特征的权值并且满足表示线性变化后的聚类中心；

c)建立基于所述新距离度量的模式识别机制：

通过采用新距离度量d_A(x，y)代替原始距离d(x，y)，产生SCCM的目标函数：

J({w~p,v~i})=Σi=1Nδ(f(xi),yi)N+βq(X)---(9)]]>

st:Σp=1dw~p=1]]>

其中第一项是分类错误率，第二项是聚类不纯度，表示第p维特征的权值，表示新空间中的第j个聚类中心；

步骤3：采用粒子群方法优化SCCM学习方法中的待定参数，具体过程如下：

a)选取特征初始权值：

通过下列目标函数选取特征初始权值：

其中D_l表示类别是l的所有样本的下标集合，采用改进的粒子群方法优化该目标函数，可得到一组初始权值

b)以所述初始权值为基础，再通过改进的粒子群方法同时优化公式(9)的目标函数中的特征权值和聚类中心