[发明专利]基于深度学习的自组织神经网络拓扑保持的增强方法

说明书

本发明提出了一种基于深度学习的自组织神经网络拓扑保持的增强方法，用于解决现有技术中存在的自组织神经网络拓扑保持效果有待提高的技术问题。实现步骤为：设置自组织神经网络的网络结构和参数，并对输入层数据进行归一化；设置输入层神经元个数和竞争层神经元个数；对自组织神经网络竞争层神经元的权向量逐层进行粗调，得到粗调后的竞争层权向量；利用粗调后的结果，对自组织神经网络竞争层神经元的权向量进行精调，得到精调后的竞争层权向量；对竞争层权向量进行度量，得到拓扑保持的增强结果。本发明逐层缩小了自组织神经网络各竞争层权向量与输入样本之间的差距，提升了自组织神经网络的拓扑保持能力。

技术领域

本发明属于数据处理技术领域，涉及一种自组织神经网络拓扑保持的增强方法，具体涉及一种无监督学习方法中的基于深度学习的自组织神经网络拓扑保持的增强方法，可用于高维数据的可视化、压缩和挖掘等领域。

背景技术

在处理高维数据的过程中，数据的可视化和降维具有十分重要的意义。通过对高维数据进行可视化和降维处理可以帮助我们观察数据大致的分布，继而进一步对数据进行处理。而在这个过程中为了保证降维和可视化后的数据能够准确地反映出原始数据的分布，处理的过程就应该做到拓扑保持，也就是降维后的数据间的拓扑结构要尽可能和原始数据一致。自组织神经网络是一种将数据映射到低维的离散点，这些离散点的位置排布可以视作网格的具有拓扑保持能力的数据降维方法。

自组织神经网络(Self-Organizing Maps，SOM)，由芬兰赫尔辛基大学教授TeuvoKohonen于1981年提出,它作为一种聚类和高维可视化的无监督学习方法，是通过模拟人脑对信号处理的特点而发展起来的一种人工神经网络。自组织神经网络由输入层和竞争层组成，竞争层各神经元竞争对输入数据的响应机会，获胜神经元有关的各权值向量朝着更有利于它竞争的方向调整，即以获胜神经元为圆心，对近邻的神经元表现出兴奋性侧反馈，而对远邻的神经元表现出抑制性侧反馈，近邻者相互激励，远邻者相互抑制。自组织神经网络是对生物大脑的模拟，大脑接收到的信号模式越相似，与之对应的兴奋神经元距离也越近，而大脑的这种特性是在后天长时间的学习过程中形成的。对这种特性的模拟注定了自组织神经网络有这样的缺陷：在输入样本量较少时，网络难以学到数据在原始空间中的拓扑结构和分布，也难以将原始数据的拓扑结构反映到映射后的空间中，拓扑保持能力较弱。另外SOM的竞争层权向量的初始化也会对最终的结果产生影响。

针对自组织神经网络的拓扑保持能力有待提高的问题，先前的研究人员提出了两种方法：

第一种方法引入概率模型，称为生成拓扑映射，它定义了一个自潜在空间到数据空间的映射，利用贝叶斯定理在潜在空间产生后验分布。通过优化低维变量在高维空间中的概率分布函数，来确定降维后数据的位置。生成拓扑映射已经过多次改进，最新的是相关生成拓扑映射，核心是根据特征的类型来选择噪声分布模型。此方法具有目标函数，不需要不断收缩的邻域函数和不断降低的学习率就可以收敛，而且噪声模型的正确选择能够使得目标函数能被进一步优化。但此方法引入了较多的超参数，参数调整十分困难，而且模型的初始化对最终结果有较大影响，此方法的应用较少。

第二种方法的核心思想是采用两个近邻函数来训练自组织神经网络。第一阶段先用一个大初始宽度的近邻函数进行训练，第二阶段采用一个较小的初始宽度的近邻函数再次进行训练。此方法使得相似度较低的数据在第一阶段所激活的神经元迅速远离，而相似度较高的数据在第二阶段所激活的神经元能够迅速的聚集。此方法在一定程度上提升了拓扑保持能力，但没能解决小样本情况下拓扑保持能力弱的问题；另外第一阶段的初始宽度的选取不当反而会降低网络的拓扑保持能力。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于深度学习的自组织神经网络拓扑保持的增强方法，提升了自组织神经网络的拓扑保持能力。