[发明专利]一种基于局部流形判别分析投影网络的分类方法

摘要

本发明公开了一种基于局部流形判别分析投影网络的分类方法，它对卷积核进行改造，经过改造之后的卷积核能够发现图像流形潜在的局部结构，同时具有高敏感的判别能力。在小样本的情况下，该方法也能表现出较好的判别性和适应性。输入图像与改造之后的卷积核进行卷积并学习到具有代表性的特征，经过多尺度特征分析层输出特征，完成特征提取之后，特征表达被送入分类模型完成分类。本发明具有较小的训练时间、较高的识别准确度，同时具有自适应性和良好的扩展性。

主权项

1.一种基于局部流形判别分析投影网络的分类方法，其特征在于，该方法包括以下具体步骤：步骤1：给定N_train个训练样本，学习判别嵌入空间Va)根据训练样本x_i的标签l(x_i)将训练集N(x_i)分为两个子集：N_w(x_i)和N_b(x_i)，N_w(x_i)是由与x_i具有相同标签的k个最近邻训练样本构成，N_b(x_i)则包含了与x_i不同标签的k个最近邻训练样本；即：b)构建N_w(x_i)和N_b(x_i)子集对应的类内子图G_w和类间子图G_b的权重矩阵：和权重的选择如下所示：对于每一类别c，在不同类别之间引进了一个惩罚因子，使得不同类别的样本之间有更大的边界，则通过赋予同一类样本之间更大的权重，加强了同一类样本之间的紧凑性；首先计算类内子图的散度矩阵Sw：其中，v为投影向量，v^T是v的转置；X是由构成的矩阵，X^T为X的转置，和分别是x_i和x_j的转置；为对角矩阵，其主对角线元素为是图的类内拉普拉斯矩阵；同理，计算类间子图的散度矩阵S_b：因此，判别嵌入空间V通过最小化目标函数得到，即对矩阵L_w和L_b的广义特征分解：XL_bX^Tv＝λXL_wX^Tv其中，L_b是类间拉普拉斯矩阵；最大的l个特征值λ＝[λ₁，λ₂，…，λ_l]对应的特征矩阵V＝[v₁，v₂，…v_l]为学习到的判别嵌入空间；在学习到的判别嵌入空间V中，最显著的特征被保留下来，即在低维判别嵌入空间中，同一类的相邻点彼此接近，不同类别的邻近点相距的更远；步骤2：构造特征卷积层a)构建邻接图设M_i是样本x_i的k个最近邻集合位于的流形，为了使同一类的样本更紧凑的表示，通过仿射弧(affine hull)来模型化流形M_i，则x_i的仿射弧h_i定义为：h_i＝{x_i＝μ_i+U_iδ_i|δ_i∈R^D}，其中x_i∈R^D，u_i表示集合的均值向量，δ_i是x_i在仿射弧中的自由参数向量；U_i是横跨整个affine hull的标准正交基，其通过对进行奇异值分解得到；其中，上述构建的仿射弧是所要构建邻接图中的节点，在这里使用最近邻算法来构建邻接图；由于欧式距离不能很好的表示流形之间的距离，在寻找k个最近邻的时候使用定义的子空间到子空间的距离度量d_SSD，d_SSD定义如下：其中，V是由步骤1中学习到的判别嵌入空间，V^T为V的转置，β为合适的约束常数，U_i和U_j是横跨整个affine hull的标准正交基，U′_j为U_j的转置；为Frobenius范数；b)选择权重W为了使局部保留映射之后，属于同一类的仿射弧离得更近，不同的类别的仿射弧离得更远，选择类内‑类间的局部判别矩阵作为构建权重矩阵热核(Heat Kernel)的输入；其中，α、t为合适的约束常数；ε_i和ε_j是仿射弧所在流形的均值向量；U_m和U_n是横跨所有对应类别仿射弧的标准正交基，m、n为同一类别放射弧的个数，L_b为类间拉普拉斯矩阵，L_w为类内拉普拉斯矩阵；c)优化线性嵌入假设投影之后的集合是z，通过最小化下面的目标函数，来找合适的映射，在这个映射上属于同一个子空间的流形能够离得更近，不同子空间流形距离的更远；上式可以化简为：其中，D为对角矩阵，即D_ii＝∑_jWij，D在不同的子空间之间建立了一个自然度量；A为投影矩阵，且z＝A^TD_MD，为了限制z在一个固定的尺度上，添加如下约束：因此，具有约束的目标函数如下：最后，求解投影向量，即：设求解之后的最小的N_i个特征值对应投影矩阵为则是要找的具有判别能力的卷积核；上标i代表每一阶段学到的卷积核，且i＝1，2；l＝1，2，…N_i；步骤3：图像卷积由步骤2学到的卷积核和训练图像进行卷积，分别得到第一阶段的N_train×N₁个特征图以第一阶段的特征图作为第二阶段的输入，分别与第二阶段学习到的卷积核卷积则得到第二阶段的N₁×N₂个特征图步骤4：多尺度特征分析a)二值哈希编码对第二阶段得到的特征图使用二进制哈希函数H(x)进行二值化，之后转换二进制向量为十进制向量，则得到一个整数值的图像b)构建分块直方图对于每一个特征图将其分成B块，统计每一块中直方图的信息，并级联B块直方图为一维向量，在这里表示为：最后，把所有的串成一个向量，则得到输入图像x_i的最终特征f_i；步骤5：图像分类将测试集经过图像卷积、多尺度分析步骤之后得到的特征f_i，输入到由训练集训练得到SVM模型进行分类。