[发明专利]一种带分类器深度非负矩阵分解网络的优化方法

说明书

本发明涉及一种带分类器深度非负矩阵分解(Nonnegative Matrix Factorization,NMF)网络的优化方法，属于人工智能技术领域。本发明包括模型构建和参数优化，模型构建方面，对多个NMF层以及分类层进行级联构成深度网络，即前一NMF层分解结果作为后一NMF层的输入，不同NMF层间采用映射函数连接。参数优化方面，基于乘性迭代规则对深度NMF网络进行无监督逐层预训练，有监督全局优化基于BP算法对各NMF层以及Softmax分类层权值参数进行整体优化。利用训练优化的深度NMF网络对测试数据进行分析，得到分类输出结果。本发明适用于状态监测与诊断等分类识别任务相关应用。

技术领域

本发明属于人工智能技术领域，涉及一种带分类器深度非负矩阵分解网络的优化方法。

背景技术

非负矩阵分解是一种较新颖的矩阵分解思想，其要求分解后的所有分量均为非负值(要求纯加性的描述)，同时能实现非线性的维数约简以及稀疏性特征表示，目前已在图像处理、计算机视觉、模式识别、生物医学、信号处理等领域得到众多成功应用。但是，传统单层网络的特征表达能力有限，为进一步提高网络的分类或回归能力，深度学习是近年来机器学习领域一个重要研究方向，深度网络通过构建具有自学习能力的多重抽象层，可以对输入数据进行逐级提取，实现对数据更高层次的特征表示，目前深度网络已在许多分类识别任务中取得了显著成果。

在这样的背景下，非负矩阵分解思想与深度学习的结合有望兼顾二者的优势，通过构建深度非负矩阵分解网络以提升单层NMF的特征提取性能，同时NMF纯加性描述为深度网络提供了直观可理解的层次特征学习过程。深度NMF网络(Guo Z,Zhang S.Sparse DeepNonnegativeMatrixFactorization[J].BigDataMiningandAnalytics，2020,3(1):13-28.SongHA,Kim B,Xuan T L,et al,Hierarchical feature extraction by multi-layernon-negative matrix factorization network for classification task[J].Neurocomputing，2015,165:63-74.Cichocki A,ZdunekR.Multilayernonnegativematrixfactorization,Electron.Lett.2006,42(16):947–948.)开始得到关注。但是，现有的深度NMF网络仅对NMF特征提取层进行训练优化，未实现NMF特征提取层与分类层统一的模型全局优化。针对这一问题，本发明提出一种具有深度学习结构的带分类器的多层非负矩阵分解网络，并设计了无监督逐层预训练和有监督全局优化相结合的模型参数优化方法。

发明内容

有鉴于此，本发明的目的在于提供一种带分类器深度非负矩阵分解网络的优化方法。通过分析非负矩阵分解和深度网络基本结构，采用级联思想构造具有深度学习结构的带分类器的多层非负矩阵分解网络，利用无监督逐层预训练和有监督全局优化项结合方法实现深度模型特征提取层与分类层统一的模型全局优化。

为达到上述目的，本发明提供如下技术方案：

一种带分类器深度非负矩阵分解网络的优化方法，该方法包括以下步骤：

S1：输入原始数据，训练集为{X_k,G_k}，其中k＝1,2,...,n，n为训练样本数，对模型输入数据进行预处理，记预处理后数据为

S2：设置深度网络中NMF层数为L，各NMF层低维特征空间维数分别为r⁽¹⁾,r⁽²⁾,...,r^(L)，对多个NMF层以及分类层进行级联，构造带分类器深度NMF网络，前一NMF层分解结果作为后一NMF层的输入，不同NMF层间以映射函数相连接；

S3：对步骤S2构造的深度NMF网络，基于乘性迭代规则对各层NMF进行无监督预训练；