[发明专利]融合自组织映射与概率神经网络的增量式学习方法

说明书

技术领域

本发明涉及机器学习技术领域，具体而言涉及一种基于神经网络的融合自组织映射与概率神经网络的增量式学习方法。

背景技术

传统的机器学习算法通常基于静态的数据集来构造决策模型，不能有效利用蕴含在新的可用数据中的知识。当有新的可用数据时，传统的学习算法不得不重新训练整个决策模型，导致计算复杂度高并且效率低下。增量式学习技术是有效解决该问题的途径，近年来日益得到学术界与工业界的重视。

一般新的可用数据分为两大类：一种是决策模型已知类标的新数据；另一种是决策模型未知类标的新类别数据，具有增量学习能力的决策模型应该能够有效处理这两种类型的新数据。至于增量式学习本身，又可以分为两个不同的层次：特征级增量式学习和决策级增量学习。分类/预测问题中一个关键的步骤是抽取有效的鉴别特征。很多传统的特征抽取方法，例如主分量分析(Principal Component Analysis,PCA)、线性鉴别分析(Linear Discriminant Analysis,LDA)等均是由一个静态的数据集构建特征抽取模型。当有新的可用数据时，必须重新从头开始训练特征抽取模型。特征级增量式学习旨在利用新的可用数据来更新原有的特征抽取模型，而无需重新训练。例如经典的PCA和LDA已经分别被研究人员推广为具有增量学习能力的特征抽取模型，即IPCA(Incremental PCA)和ILDA(Incremental LDA)。在IPCA和ILDA中新的数据可以增量的形式更新已有的特征抽取模型。与特征级增量学习使用新数据更新特征抽取模型不同，决策级增量学习直接利用新数据来更新决策模型。

本发明是决策级增量式学习，提出一种融合自组织映射(SOM)和概率神经网络(PNN)的增量式学习方法。作为一种非参数方法，PNN本身非常简单并且在很多分类问题上表现出色。然而，PNN存在的一个重要不足之处是，在决策阶段需要用到所有的训练样本，因而不可避免地会导致存储空间大，计算效率低下。事实上，在很多实际问题中，新的可用数据会不断产生，上述问题就会进一步恶化。很多研究人员已经采取不同的方法来降低传统PNN的计算复杂度，同时保持其优秀特性(M.Feng,et al.,Probabilistic segmentation of volume data for visualization using SOM-PNN classifier,presented at the Proceedings of the1998IEEE symposium on Volume visualization,Research Triangle Park,North Carolina,United States,1998.以及D.J.Yu,et al.,SOMPNN:an efficient non-parametric model for predicting transmembrane helices,Amino Acids,vol.42,pp.2195-205,Jun2012)。例如，使用聚类方法(K-means,fuzzy C-means clustering)(Z.L.Wang,et al.,An Incremental Learning Method Based on Probabilistic Neural Networks and Adjustable Fuzzy Clustering for Human Activity Recognition by Using Wearable Sensors,IEEE Transactions on Information Technology in Biomedicine,vol.16,pp.691-699,Jul2012.)对训练数据进行聚类，然后使用聚类中心代替原始数据构建PNN。然而，此类方法的缺陷是需要事先设定聚类中心的个数，受主观性影响较大。最近，我们使用SOM对训练数据进行学习，然后使用训练好的SOM的原型向量构建PNN，这样得到的PNN结构紧致，显著降低了PNN计算的复杂度和存储空间需求(D.J.Yu,et al.,SOMPNN:an efficient non-parametric model for predicting transmembrane helices,Amino Acids,vol.42,pp.2195-205,Jun2012.)。虽然上述这些方法能够有效解决传统PNN的一些问题，但是均不具备增量学习的能力，不能有效利用蕴含在新的可用数据中的知识。

发明内容