[发明专利]一种带分类器深度非负矩阵分解网络的优化方法

权利要求书

1.一种带分类器深度非负矩阵分解网络的优化方法，所述带分类器深度非负矩阵分解网络包括输入层、NMF层1、NMF层2、……、NMF层L及分类层，其中不同NMF层间采用映射函数连接，其特征在于：该方法包括以下步骤：

S1：输入原始数据，训练集为{X_k,G_k}，其中k＝1,2,...,n，n为训练样本数，对模型输入数据进行预处理，记预处理后数据为

S2：设置深度网络中NMF层数为L，各NMF层低维特征空间维数分别为r⁽¹⁾,r⁽²⁾,...,r^(L)，对多个NMF层以及分类层进行级联，构造带分类器深度NMF网络，前一NMF层分解结果作为后一NMF层的输入，不同NMF层间以映射函数相连接；

S3：对步骤S2构造的深度NMF网络，基于乘性迭代规则对各层NMF进行无监督预训练；

S4：对步骤S3得到的预训练深度NMF网络，基于BP算法对各NMF层以及Softmax分类层连接权值参数进行有监督全局优化；

S5：依据步骤S4的所得训练优化的深度NMF网络，对输入的测试数据样本进行分析，得到相应的分类输出结果。

2.根据权利要求1所述的一种带分类器深度非负矩阵分解网络的优化方法，其特征在于：在所述步骤S1中，采用短时傅里叶变换时频分析方法对输入数据计算时频幅值谱进行预处理。

3.根据权利要求1所述的一种带分类器深度非负矩阵分解网络的优化方法，其特征在于：在所述步骤S2中，采用Softmax作为分类层函数构建带分类器深度NMF网络。

4.根据权利要求1所述的一种带分类器深度非负矩阵分解网络的优化方法，其特征在于：在所述步骤S3中，基于乘性迭代规则对深度NMF网络进行无监督预训练步骤如下：

S31：将数据X^(i-1)输入第i层NMF网络；

S32：设置算法终止阈值e和最大迭代次数t_max，初始化基向量矩阵W⁽ⁱ⁾和低维特征矩阵H⁽ⁱ⁾；设为N维向量数据集合，则基向量矩阵低维特征矩阵r为低维特征空间维数，一般情况下，r比N和n小很多，且满足((N+n)r＜Nn；

S33：更新基向量矩阵W⁽ⁱ⁾和低维特征矩阵H⁽ⁱ⁾，迭代更新规则定义为：

S34：计算预训练阶段NMF层目标函数值C，C定义为

S35：比较目标函数值C^(t)与C^(t+1)，若||C^(t+1)-C^(t)||e成立或者达到最大迭代次数t_max，则算法终止，并得到第i层NMF网络的基向量矩阵W⁽ⁱ⁾和低维特征H⁽ⁱ⁾，否则，循环步骤S33至步骤S35；

S36：对低维特征H⁽ⁱ⁾进行映射处理得到第i+1层NMF的输入数据X⁽ⁱ⁾，基于Sigmoid函数的非线性映射为：

f(x)＝1/(1+exp(-x))

S37：重复步骤S31至步骤S37，直至i＞L完成对各NMF层无监督逐层预训练。

5.根据权利要求1所述的一种带分类器深度非负矩阵分解网络的优化方法，其特征在于：在所述步骤S4中，基于BP算法对深度NMF网络进行有监督全局优化，有监督全局优化的步骤如下：

S41：将带标签数据X^(i-1)输入第i层NMF网络；

S42：设置算法终止阈值e和最大迭代次数t_max，初始化低维特征矩阵H⁽ⁱ⁾；

S43：固定基向量矩阵W⁽ⁱ⁾，对低维特征矩阵H⁽ⁱ⁾迭代更新，迭代规则为：

S44：计算有监督全局优化阶段NMF层目标函数值C，C定义为：

S45：比较目标函数值C^(t)与C^(t+1)，若||C^(t+1)-C^(t)||e成立或者达到最大迭代次数t_max，则算法终止，并得到第i层NMF网络低维特征H⁽ⁱ⁾，否则，循环步骤S43至步骤S45；

S46：计算第i层NMF网络代价函数

其中，为权重约束项，α为平衡权重约束项的系数，f(w_ij)定义为：

S47：对低维特征H⁽ⁱ⁾进行映射处理得到第i+1层NMF的输入数据X⁽ⁱ⁾，基于Sigmoid函数的非线性映射为：

f(x)＝1/(1+exp(-x))

S48：重复步骤S41至步骤S47，直至i＞L；

S49：将第L层NMF的输出X^(L)输入Softmax分类器，计算分类层代价函数值，公式如下：

其中，为Softmax错误分类代价函数，K为类别数，y_r为样本类标签；

S410：计算带分类器深度NMF网络总体代价函数值，公式如下：

其中，W_DN包括各NMF层以及Softmax分类层权值参数；

S411：将带分类器深度NMF网络所有层视为一个模型，基于梯度下降算法，经过多次迭代以期使网络的总体代价函数值最小；计算各层的输出，每层的重构误差，根据误差修正相应的参数，优化各NMF层以及Softmax分类层权值参数。