[发明专利]一种基于局部正交对齐的特征降维方法

权利要求书

1.一种基于局部正交对齐的降维方法，其特征是，采用如下步骤进行数据降维：

步骤1：输入N个高维数据点x_i∈R^m组成的数据矩阵X∈R^m×N，根据高维数据点之间的欧式距离，获取数据点x_i的局部近邻关系：x_i的局部k近邻X_i∈R^m×k，近邻选择矩阵S_i∈R^N×k，S_i是0-1选择矩阵，使得X_i＝XS_i；

步骤2：局部的低维表示：若数据的分布满足流形假设，对于流形结构，其局部通过欧式空间的性质进行逼近；利用主成分分析将局部k近邻X_i降到d维，得到局部坐标Θ_i∈R^d×k；

步骤3：低维坐标的全局对齐：将得到的所有低维坐标Θ_i,i＝1,...,N通过正交对齐得到最优的全局低维坐标Y∈R^d×N，并使得重构误差最小：

其中L_i∈R^d×d为正交变换，I_d为d维的单位矩阵，H_k∈R^k×k为中心化矩阵；

步骤4：在给定全局低维坐标Y的情况下，L_i通过最小二乘进行求解其中Θ_i⁺为Θ_i的Moore-Penrose伪逆；将L_i代入到公式I中，并通过迹与F-范数的关系可以将公式I等价转化为：

其中对公式II进行条件松弛，并将多个正交约束进行叠加，得到单个正交约束：

其中公式III就是本方法最终的目标函数；

步骤5：将目标函数公式III分解为两个子问题：半正定松弛部分和正交约束部分；并分别通过半正定松弛方法和强制正交化方法进行求解，最终得到降维后的结果。

2.如权利要求1所述的降维方法，其特征是，步骤4中所述的对公式II进行条件松弛，其实现方法为：每个局部正交约束利用迹运算，将局部正交约束简化为对角和为d的迹约束。

3.如权利要求1所述的降维方法，其特征是，步骤5中，去掉公式III中的正交约束，得到的半正定规划部分为：

这是一个QMP问题，通过半正定松弛方法可转化为一个标准的半正定规划问题，然后通过凸优化工具包进行求解：

$Y_{sdp}={\arg }_Y\underset{K=Y^{T}Y}{min}tr\left(BK\right)$

s.t tr(C_iK)＝d,i＝1,....,N

K±0

其中，K＝YY^T±0为对称半正定矩阵。

4.如权利要求3所述的降维方法，其特征是，步骤5中，通过半正定规划得到的Y_sdp往往不满足正交约束YCY^T＝I_d，因此要进行强制正交化：使用一个线性变换P，得到最终的降维结果Y＝PY_sdp，其中P通过的特征值分解得到，[V,D]＝eig(Y_sdpCY_sdp^T)，那么就满足了正交约束：

通过正交修正的结果Y就是最终的降维结果。