[发明专利]一种基于局部流形判别分析投影网络的分类方法

权利要求书

1.一种基于局部流形判别分析投影网络的分类方法，其特征在于，该方法包括以下具体步骤：

步骤1：给定N_train个训练样本，学习判别嵌入空间V

a)根据训练样本x_i的标签l(x_i)将训练集N(x_i)分为两个子集：N_w(x_i)和N_b(x_i)，N_w(x_i)是由与x_i具有相同标签的k个最近邻训练样本构成，N_b(x_i)则包含了与x_i不同标签的k个最近邻训练样本；即：

b)构建N_w(x_i)和N_b(x_i)子集对应的类内子图G_w和类间子图G_b的权重矩阵：和权重的选择如下所示：

对于每一类别c，在不同类别之间引进了一个惩罚因子，使得不同类别的样本之间有更大的边界，则通过赋予同一类样本之间更大的权重，加强了同一类样本之间的紧凑性；

首先计算类内子图的散度矩阵S_w：

其中，v为投影向量，v^T是v的转置；X是由构成的矩阵，X^T为X的转置，和分别是x_i和x_j的转置；为对角矩阵，其主对角线元素为是图的类内拉普拉斯矩阵；

同理，计算类间子图的散度矩阵S_b：

因此，判别嵌入空间V通过最小化目标函数得到，即对矩阵L_w和L_b的广义特征分解：

XL_bX^Tv＝λXL_wX^Tv

其中，L_b是类间拉普拉斯矩阵；最大的ι个特征值λ＝[λ₁,λ₂,…,λ_ι]对应的特征矩阵V＝[v₁,v₂,…v_ι]为学习到的判别嵌入空间；在学习到的判别嵌入空间V中，最显著的特征被保留下来，即在低维判别嵌入空间中，同一类的相邻点彼此接近，不同类别的邻近点相距的更远；

步骤2：构造特征卷积层

a)构建邻接图

设M_i是样本x_i的k个最近邻集合位于的流形，为了使同一类的样本更紧凑的表示，通过仿射弧即affine hull来模型化流形M_i，则x_i的仿射弧h_i定义为：h_i＝{x_i＝μ_i+U_iδ_i|δ_i∈R^D}，其中x_i∈R^D，u_i表示集合的均值向量，δ_i是x_i在仿射弧中的自由参数向量；U_i是横跨整个affine hull的标准正交基，其通过对进行奇异值分解得到；

其中，上述构建的仿射弧是所要构建邻接图中的节点，在这里使用最近邻算法来构建邻接图；由于欧式距离不能很好的表示流形之间的距离，在寻找k个最近邻的时候使用定义的子空间到子空间的距离度量d_SSD，d_SSD定义如下：

其中，V是由步骤1中学习到的判别嵌入空间，V^T为V的转置，β为合适的约束常数，U_i和U_j是横跨整个affine hull的标准正交基，U'_j为U_j的转置；为Frobenius范数；

b)选择权重W

为了使局部保留映射之后，属于同一类的仿射弧离得更近，不同的类别的仿射弧离得更远，选择类内-类间的局部判别矩阵作为构建权重矩阵热核即HeatKernel的输入；

其中，α、t为合适的约束常数；ε_i和ε_j是仿射弧所在流形的均值向量；U_m和U_n是横跨所有对应类别仿射弧的标准正交基，m、n为同一类别放射弧的个数，L_b为类间拉普拉斯矩阵，L_w为类内拉普拉斯矩阵；

c)优化线性嵌入

假设投影之后的集合是z，通过最小化下面的目标函数，来找合适的映射，在这个映射上属于同一个子空间的流形能够离得更近，不同子空间流形距离的更远；

上式可以化简为：

其中，D为对角矩阵，即D_ii＝∑_jWij，D在不同的子空间之间建立了一个自然度量；A为投影矩阵，且z＝A^TD_MD，为了限制z在一个固定的尺度上，添加如下约束：

因此，具有约束的目标函数如下：

最后，求解投影向量，即：

设求解之后的最小的N_i个特征值对应投影矩阵为则是要找的具有判别能力的卷积核；上标i代表每一阶段学到的卷积核，且i＝1,2；l＝1,2,…N_i；

步骤3：图像卷积

由步骤2学到的卷积核和训练图像进行卷积，分别得到第一阶段的N_train×N₁个特征图

以第一阶段的特征图作为第二阶段的输入，分别与第二阶段学习到的卷积核卷积则得到第二阶段的N₁×N₂个特征图

步骤4：多尺度特征分析

a)二值哈希编码

对第二阶段得到的特征图使用二进制哈希函数H(x)进行二值化，之后转换二进制向量为十进制向量，则得到一个整数值的图像

b)构建分块直方图

对于每一个特征图将其分成B块，统计每一块中直方图的信息，并级联B块直方图为一维向量，在这里表示为：最后，把所有的串成一个向量，则得到输入图像x_i的最终特征f_i；

步骤5：图像分类

将测试集经过图像卷积、多尺度分析步骤之后得到的特征f_i，输入到由训练集训练得到SVM模型进行分类。