[发明专利]一种挖掘数据间相似度的有监督的局部投影方法

权利要求书

1.一种挖掘数据间相似度的有监督的局部投影方法，其特征在于，包括如下步骤：

1)获取数据及提出数学模型：获取样本数据X∈R^n×d、标签数据Y∈R^n×d以及每个样本的最大近邻数k，其中，X∈R^n×d是有n个样本，每个样本有d个特征的矩阵；Y∈R^n×c是one-hot矩阵，表示有n个样本的标签，标签的种类数为c；

然后提出数学模型(1)：

其中，W∈R^d×c是大小为d×c的投影矩阵；S∈R^n×n是相似矩阵，S_i∈R^1×n表示S中的第i行的数据，初始化相似矩阵S的元素全为0；λ₁为可常数系数，初始化为λ₁＝1；I为单位矩阵；L＝D-S∈R^n×n为相似矩阵S的Laplacian矩阵，D∈R^n×n为相似矩阵S的度矩阵，rank(L)表示对L求秩，||S||_F表示计算S的Frobenius范数；

2)初始化：计算样本数据X中的每个样本两两之间的欧式距离，得到大小为n×n的矩阵的第i行第j列元素是即然后计算中每一行的最小的k个元素的索引，得到大小为n×k的k邻索引矩阵随机初始化大小为d×c的投影矩阵W∈R^d×c，满足W和W的转置矩阵是正交的，即WW^T＝I，其中I是单位矩阵；

3)更新：根据步骤2)中的k邻索引矩阵和对步骤1)中的相似矩阵S进行更新，记pos即为样本数据X的第i个样本的第j个近邻样本在样本数据X中的索引，将S的第i行第pos列的元素更新为的第i行第pos列元素的值，即

4)转化：将相似矩阵S转化为对称矩阵其中，S_log＝(S^T＞S)∈R^n×n是S^T和S逐个元素比较大小后得到的二元矩阵，且S_log的元素非0即1，然后保持数学模型(1)中的S不变，使将数学模型(1)化简为：

5)计算中间矩阵变量的最大特征值α：计算矩阵的Laplacian矩阵并使A＝X^TX+X^TLX∈R^d×d，B＝X^TY∈R^d×d，其中A是中间矩阵变量，是的度矩阵，为了保证A是实对称矩阵，计算A的最大特征值α，并使

6)计算loss₁的值：计算M是中间矩阵变量，并对M进行奇异值分解，得到U∈R^d×m，其中U和V都是酉矩阵，更新然后计算loss₁＝Tr(W^TAW-2W^TB)，若loss₁的值不能够收敛，即loss₁没有趋近于一个稳定的数值，则重复执行步骤6)，如果反复执行步骤6)的次数过高，则指定反复执行步骤6)的最大次数而不必等到loss₁的值完全收敛，当loss₁的值完全收敛或者已经达到了反复执行步骤6)的最大次数，则进入下一步骤；

7)简化数学模型：根据论文2014CAN中的式子33计算出参数λ₁，其中X′＝XW对应于该论文式子33中的X，并保持数学模型(1)中的W不变，将数学模型(1)化简为：

8)投影：使用步骤6)得到的投影矩阵W对样本数据X进行投影，即X′＝XW，得到投影后的样本矩阵X′，并计算出X′中每两个样本之间的欧氏距离得到X′的距离矩阵V^x∈R^n×n，即对于X′第i个样本X_iW和第j个样本X_jW，计算

9)计算loss₂的值：F∈R^n×c是由的c个最小特征值对应的c个特征向量组成矩阵，F的每一列是一个特征向量，更新F，先计算F的每一行两两之间的欧式距离得到V^f∈R^n×n，其中F_i∈R^1×c是F的第i行的数据，根据步骤8)中的V^x∈R^n×n计算得到V∈R^n×n，根据得到的S_i更新相似矩阵S的第i行，其中V_i∈R^1×n，V_i的第j个元素为其中X_j是X_i的第j个最近邻样本，X_i是样本矩阵X中的第i行；λ₂是满足λ₂/λ₁＝1e4的实数，然后计算：

若loss₂的值不能够收敛，即loss₂没有趋近于一个稳定的数值，则重复执行步骤9)，如果反复执行步骤9)的次数过高，则指定反复执行步骤9)的最大次数而不必等到loss₂的值完全收敛，当loss₂的值完全收敛或者已经达到了反复执行步骤9)的最大次数，则进入下一步骤；

10)计算数学模型(1)的loss值：

如果此时loss的值不能够收敛，即loss没有趋近于一个稳定的数值，则重复执行步骤3)-步骤9)，如果反复执行步骤3)-步骤9)的次数过高，则指定反复执行步骤3)-步骤9)的最大次数而不必等到loss的值完全收敛，当loss的值完全收敛或者已经达到了反复执行步骤3)-步骤9)的最大次数，则结束，输出相似矩阵S∈R^n×n和投影矩阵W∈R^d×c。

2.根据权利要求1所述的挖掘数据间相似度的有监督的局部投影方法，其特征在于，所述当步骤1)-步骤10)作为整体框架时，优化数学模型(1)，步骤3)-步骤6)作为子模块1，优化投影矩阵W,步骤7)-步骤9)作为子模块2，优化相似矩阵S,其中，

优化数学模型(1)的伪代码描述如下：

Input:X∈R^n×d，Y∈R^n×c，标签类别数c，每个样本的领域数量c；

Initialize：1、初始化相似矩阵S＝0∈R^n×n，其中0是元素全为0的矩阵；

2、计算得到计算中每一行的最小的k个元素的索引，得到大小为n×k的k邻索引矩阵记pos即为样本数据X的第i个样本的第j个近邻样本在样本数据X中的索引，更新

3、随机初始化W∈R^d×c，使得WW^T＝I；

do{

1、固定S，优化W：计算令调用子模块1，更新W；

2、根据论文2014CAN的式子33计算出参数λ₁，λ₂是满足λ₂≥λ₁×1e4的任意实数；

3、固定W，优化S：调用子模块2；

4、计算

}while loss converge

Output：S∈R^n×n；

优化投影矩阵W的伪代码描述如下：

Input:L∈R^n×n,X∈R^n×d，Y∈R^n×c；

Initialize：

1、计算A＝X^TX+X^TLX∈R^d×d,B＝X^TY∈R^d×d；

2、计算A的最大特征值α，并使

do{

1、计算

2、对M进行奇异值分解，得到U∈R^d×m，V^T∈R^m×c；

3、更新W＝UV^T；

4、计算loss₁＝Tr(W^TAW-2W^TB)；

}while loss₁ loss converge

Output：W∈R^d×c；

优化相似矩阵S的伪代码描述如下：

Input:W∈R^d×c,X∈R^n×d,S∈R^n×n,标签类别数c，λ₁，λ₂；

Initialize：

1、计算X′＝XW，得到V^x∈R^n×n，

do{

2、更新F，F∈R^n×c由的c个最小特征值对应的c个特征向量组成，F的每一列是一个特征向量；

3、计算F的每一行两两之间的欧式距离得到V^f∈R^n×n，

4、计算得到V∈R^n×n；

5、根据得到的S_i更新相似矩阵S的第i行，其中V_i∈R^1×n，V_i的第j个元素为这里的X_i是样本矩阵X中的第i行，X_j是X_i的第j个最近邻样本，根据可以确定X_j；

6、计算

}while loss₂ converge

Output：S∈R^n×n。