[发明专利]基于逐点扩充以及局部仿射变换的流形学习算法

说明书

本发明涉及机器学习领域中的流形学习，基于逐点扩充以及局部仿射变换的流形学习算法。该算法通过选取整个数据集的测地中心的邻域作为一个初始扩充块，用线性算法求出该扩充块的低维表示，迭代的选取与该扩充块最近的数据点加入扩充块，与此同时，局部仿射变换变换用来保持新数据点与扩充块之间的局部几何信息。用这种方式能够提高流形学习算法的执行效率，并且很自然的解决了流形学习算法的一个经常被人批判的out‑of‑sample问题。

技术领域

本发明属于机器学习领域，具体涉及流形学习中的一种基于逐点扩充以及局部仿射变换的流形学习算 法。

背景技术

流形学习是机器学习的一个重要分支，它成功的应用在了许多实际场景中，比如数据降维。比较经典 的流形学习算法有等距映射(Isomap)(文献1，Tenenbaum JB,SilvaVD,Langford JC(2000)A Global Geometric Framework for Nonlinear DimensionalityReduction.Science 290(5500):2319-2323)、局部线性嵌入 (LLE)(文献2，Roweis ST,Saul LK(2000)Nonlinear dimensionality reduction by locally linear embedding.Science 290(5500):2323-2326)、局部切空间对齐(LTSA)(文献3，Zhang ZY,Zha HY(2004)Principal manifolds and nonlinear dimensionality reduction via tangent spacealignment.SIAM J Sci Comput 26 (1):313-338)等等。

Isomap学习到的是数据点之间的测地距离，它通过在低维空间中保持数据点之间的测地距离来实现数 据从高维空间到低维空间的非线性映射。在所有的流形学习算法中，Isomap的计算复杂度是最高的，而且 它在非凸数据集上的表现并不好，这限制了它的应用。LLE是基于一个局部线性重构的假设，它认为在数 据集的一个局部中，其中心数据点可以由该局部的其他数据点进行线性重构，在低维空间中这种重构关系 应该与高维空间中相同，从而由这种局部线性重构关系求出数据点的低维表示。LTSA也是基于局部线性 的假设，它认为数据集局部的全局坐标可以由其局部坐标通过旋转缩放来求得，它首先将数据集划分为一 个个相互重叠的局部，然后用PCA或者SVD求出每个局部的局部坐标，最后这些局部坐标通过旋转缩放 变换排列起来从而得到所有局部的全局坐标，也就是它们的低维表示。

这些流形学习算法在数据降维上取得了非常完美的效果，但由于他们最终在求解数据点的低维表示时 都涉及一个与样本数目规模相当的大矩阵的特征分解，这导致他们的效率往往都差强人意。而且这些算法 都是一次性求解出所有数据点的低维表示，不能实现在线学习，存在out-of-sample问题。

发明内容

本发明提出一种基于逐点扩充以及局部仿射变换的流形学习算法。算法通过逐点的扩充一个小的数据 块来求得所有数据点的低维表示，每次扩充都通过局部仿射变换来保持新数据点与其周围的局部几何信 息。很自然的，当需要求取数据集之外的out-of-sample数据点的低维表示时，可以将该数据点当做待扩充 的点从而用相同的方式求得新数据点的低维表示。

该算法首先选取整个数据集的测地中心的邻域作为初始的扩充块，然后迭代的选取距离扩充块最近的 数据点加入扩充块，每次新加入一个数据点到扩充块，通过局部仿射变换来将新数据点与扩充块之间的局 部几何关系在低维空间中保持。当所有数据点都加入到扩充块中时，它们的低维表示就全部都求得了。

本发明的具体步骤如下：

步骤一：构造输入数据集X的邻域图G，计算出数据集的测地中心x_c。

步骤二：取测地中心的邻域构成初始扩充块，记作X_c。