[发明专利]基于局部线性回归的半监督图像聚类子空间学习算法

摘要

本发明公开了一种基于局部线性回归的半监督图像聚类子空间学习算法。首先采用局部线性回归模型预测训练样本在聚类子空间中的坐标，得到预测值与真实值之间的局部预测误差，进而得到总预测误差最小化的目标函数；然后根据类间离散度最大化和类内离散度最小化两个约束条件，利用标记样本和未标记样本计算类间离散度矩阵和总离散度矩阵；最后，将类间离散度矩阵和总离散度矩阵融入到总预测误差最小化的目标函数中，得到求解聚类子空间的目标函数，通过广义特征根进行函数求解，得到最优的聚类子空间。本发明充分利用了标记样本、未标记样本，以及训练数据集中的局部近邻关系，得到了较好的聚类结果。

主权项

1.一种基于局部线性回归的半监督图像聚类子空间学习算法，其特征在于包括如下步骤：第一步、特征向量x的预测误差（1）构建训练数据集，包括标记样本和未标记样本；（2）对训练数据集中的每幅图像，提取底层的颜色、纹理和形状特征，构成特征向量x；（3）采用局部线性回归方法，预测特征向量x在聚类子空间中的坐标，得到预测值z＝ψ^Tx+ξ（1）式(1)中：ψ表示回归矩阵，ξ表示偏向，T表示转置运算；（4）设特征向量x在聚类子空间中的坐标最佳取值为y，则预测值z与最佳取值y之间的差为特征向量x的预测误差q=||z-y||²=||ψ^Tx+ξ-y||²（2）式(2)中:||||²表示二范式；第二步、基于近邻关系的局部预测误差之和（1）根据欧氏距离，从训练数据集中找到与特征向量x相邻的图像5~8幅；（2）采用第一步中第（3）和第（4）分步所述方法，得到特征向量x相邻的图像中每幅图像的预测误差q，然后对特征向量x相邻的图像中每幅图像的预测误差q进行累加，得到基于近邻关系的局部预测误差之和σ；第三步、基于总预测误差的优化函数（1）在整个训练数据集的范围内，对基于近邻关系的局部预测误差之和σ进行累加，得到全局范围内的总预测误差，将总预测误差最小化，得到总预测误差的优化函数minΣi=1n(||ψTx+ξ-y||2+α||ψ||2)---(3)]]>式（3）中：min表示最小化函数,表示从数据集中第1幅图像到第n幅图像进行累加,n表示训练数据集中图像的总个数；ξ表示偏向，α为权重参数（0<α<1），ψ表示回归矩阵,T表示转置运算，x表示特征向量，y表示特征向量x在聚类子空间中的坐标的最佳取值，α||ψ||²是加入的正则项，以避免出现过学习现象；（2）对式（3）中的参数ψ和参数ξ求导，根据矩阵运算规则，式（3）的总预测误差的优化函数变形为mintr(YLY^T)（4）式（4）中：tr表示矩阵的迹运算,min表示最小化函数,Y表示由所有图像样本在聚类子空间中坐标的最佳取值构成的最优坐标矩阵,即为待求解的聚类子空间，T表示转置运算，L为相关性矩阵，记录了图像样本之间的相邻关系；第四步、聚类约束条件（1）在聚类过程中，除了需要满足式（4）之外，还增加两个聚类约束条件，分别是训练数据集的类内离散度最小和训练数据集的类间离散度最大；（2）训练数据集中标记样本的类间离散度b=Σi=1cmaaT---(5)]]>式（5）中：c为正整数，表示训练数据集中标记样本的语义类别数，i为正整数，a表示每个语义类别的特征均值，m表示语义类别中标记样本的个数，T表示转置运算；（3）将式（5）扩展到整个训练数据集，包括标记样本和未标记样本，根据矩阵运算规则，得到训练数据集的类间离散度B＝XLX^T    （6）式（6）中：X表示图像视觉特征矩阵,L为式（4）中的相关性矩阵，T表示转置运算；（4）训练数据集的类内离散度W＝XX^T    （7）式（7）中：X表示图像视觉特征矩阵,T表示转置运算；第五步、总目标函数的定义和求解（1）根据式（4）、式（6）和式（7）得到总目标函数maxDtr[DTBD(DTWD+λDTXLXTD)-1]---(8)]]>式（8）中：D表示聚类子空间的映射矩阵，W表示类内离散度，B表示类间离散度，-1表示矩阵的逆运算，λ表示权重参数，T表示转置运算，L为式（4）中的相关性矩阵，X表示图像视觉特征矩阵,tr表示矩阵的迹运算；（2）用广义特征根方法求解式（8），得到2c个非零特征根，取其中c个最大的非零特征根，得出相应的c个非零特征向量d₁,d₂，...d_c，聚类子空间的映射矩阵D的最优解为[d₁，d₂,...d_c]；（3）根据映射矩阵D的最优解[d₁，d₂,...d_c]，求解最优坐标矩阵Y=D^TX    （9）式(9)中：T表示转置运算，X表示图像视觉特征矩阵；（4）根据最优坐标矩阵Y，找到图像样本在聚类子空间中对应的坐标，采用Kmeans聚类算法，得到图像聚类结果。