[发明专利]一种基于子空间投影和字典学习的图像分类方法

权利要求书

1.一种基于子空间投影和字典学习的图像分类方法，其特征在于：包含以下步骤：

步骤1)使用带标签的训练集初始化判别字典并给测试集样本加上伪标签，包括如下步骤：

步骤1.1)用带标签的训练集样本，通过线性判别字典学习的方法来初始化判别字典D⁽⁰⁾，

步骤1.2)学习到字典D⁽¹⁾后，给测试集样本加上伪标签,给第i个测试集样本加伪标签；

步骤2)选出具有高可信度的测试集样本，详细步骤如下：

由步骤1.2)给第i个测试集样本加上伪标签之后，通过计算每个训练集样本的置信度来衡量伪标签的可信度；

在第k轮迭代过程中，第i个样本被分类到第j类的置信度由式(3)定义：

即对第i个测试集样本，现得到长度为C的向量其值除了伪标签所属的项外都为零，即若共有C＝5类，第i个样本伪标签为2，则其中为使用第k轮学习到的字典中的第j类子字典重建第i个测试集样本的重建误差，即在第k轮迭代学习到更新后的字典后，分别使用第j个子字典来重建第i个测试集样本，由式(4)给出：

其中是将测试集样本投影到低维子空间的投影矩阵；

为了得到伪标签可信度最大的Q％*N_t个测试集样本，以置信度为依据选择矩阵挑出所有类样本中可信度最大的前Q％个样本，W的每一个元素，即为零一变量，指出第i个样本在挑选第j类时是否被选中，若被选中则为1，否则为0，其中Q是一个固定常数，根据训练集大小而定，取50％；

挑选第j类样本的方法如式(5)：

s.t.||W_j^(k)||₀＝Q％*N_t,j＝1,…,C (5)

其中是第j类样本的选择矩阵，它是一个对角矩阵，其对角线上的元素为选择矩阵第j列的元素；同样地，也是对角矩阵，其对角线上的元素是置信度矩阵C^(k)的第j列；||W_j^(k)||₀是W_j^(k)矩阵中非零元素的个数，即确保每一类中只有Q％被选出；

至此得到每一类的选择矩阵W_j^(k)，通过式(6)将选出的每一类高可信度样本加入字典的训练过程中，即更新用于下一轮训练的测试集样本：

Y_j^(k+1)＝[Y_tW_j^(k)]，j＝1,…,C (6)；

步骤3)将高可信度的测试集样本和训练集样本分别投影到低维平面上，在低维平面上学习判别字典，同时联合学习投影矩阵，包括如下具体步骤：

步骤3.1)假设投影矩阵和n为投影后子空间的维数，则投影到低维子空间上后的训练集样本为测试集样本为

在这个低维平面上利用式(7)训练集样本和挑选之后的测试集样本学习字典，并联合学习投影矩阵P_s和P_t

且||x_j||₀≤T₀,T₀为稀疏系数

其中即将两个投影矩阵邻接在一起，同理

其次，即将Y_s和Y_t作为块矩阵的对角，其余的块矩阵为零，Trace指矩阵的迹，即矩阵主对角线上元素之和；

f₁使用利用P_sP_t将分别将训练集样本和测试集样本投影到低维子空间中，并在低维子空间中联合学习判别字典D和‖·‖₀指矩阵或向量的零范数，即向量中非零元素的个数，‖·‖_F指矩阵的Frobenius范数，即指矩阵各元素平方和开平方；

f₂是训练集样本和测试集样本的最大均值距离(MMD)，衡量了训练集样本和测试集样本在分布上的差异，分布差异越小，f₂的取值越接近0；其中矩阵由式(8)给出：

f₃是将样本反投影的过程，期望在投影过程中损失尽可能少的样本信息；

步骤3.2)在求解式(7)的优化问题时引入矩阵和B，分别满足:

式(7)的优化方程可转换为：

且||x_j||₁≤T₀,T₀为稀疏系数

经过整理式(12)可得到：

需要求的变量有三个，在这里本发明采取固定其他先求其中一个的策略，即先固定求再迭代固定求当被固定时，它们可被看作常数，固式中只剩下为未知量；

首先将初始化，方法是：

先将K进行特征值分解得到：

K＝VSV^T (14)

其中，V是特征向量矩阵，S是一个对角矩阵，其对角线上的元素是矩阵K的特征值，本方法将k_s及k_t的列向量初始化为前n大的特征值所对应的特征向量，即对特征值从大到小排列之后，选取最大的前n个特征值对应的特征向量构成或这里的n是将为后平面的维数；

在得到的初始值后，式中还有未知量和由于

未知量可转换为D和我们利用多次迭代的方法求解，求解D和的具体步骤如下：

将D初始化为随机的单位向量，则式中只剩下为未知量，先将初始化为全O向量再采取逐列更新的方式来计算为第i类样本系数表示的稀疏系数；

在第h轮中，更新的公式为：

其中，是第h轮更新得到的稀疏系数，是函数Q(x)对的偏导数，其中，Q(X)由下式给出：

由式(15)解得后，固定式中的同样利用逐列更新的方法来求解D，即每次更新字典D中的一列d_j，更新d_j的公式为：

其中，Z是经过投影的样本即

至此，求得了D^(k)和利用下式求出

则固定和求解

由式(13)(14)可令：

可将式(13)转换为如下的形式:

{G}＝arg min_Gtrbce(G^THG) (17)

其中G＝[G_s,G_t],式(16)需要利用Stiefel流形来求解，可直接调用现成的软件包，求得G；

至此得到更新的公式为：

可由式(9)和(10)分别解出P_s和P_t，

至此，已由式(16)求得D^(k)，由式(9)和(10)分别解出P_s和P_t

步骤4)使用学习到的判别字典再次对测试集样本进行分类，即重新加上伪标签；

步骤5)计算稳定样本个数，若其数量大于等于测试集样本数量的80％则结束迭代过程，输出该轮伪标签作为结果；若小于80％则重复步骤2） ～4） 直到满足条件。