[发明专利]一种基于深度信念网的设备运行状态评价方法

权利要求书

1.一种基于深度信念网的设备运行状态评价方法，其特征在于：其方法如下所述：

第一步、预训练：构建受限的波尔兹曼机，使数据信号能够在数层的受限的波尔兹曼机之间传递，然后利用k次对比散度算法逐层训练受限的波尔兹曼机；深度信念网包含数个受限的波尔兹曼机，受限的波尔兹曼机是一个两层的神经网络，一是可见层，即输入层，二是隐层，层与层之间全连接，层内无连接，受限的波尔兹曼机是一个二分图，其输出有两种状态0和1，0和1分别表示未激活与激活，深度信念网训练首先对每层受限的波尔兹曼机进行预训练，受限的波尔兹曼机采用的是无监督学习方法；

第二步、微调：在数层的受限的波尔兹曼机之上添加逻辑回归层并进行训练，然后采用误差逆传播算法对整个深度信念网进行参数微调，深度信念网由L层受限的波尔兹曼机和一层逻辑回归层组成，在对每一层受限的波尔兹曼机进行预训练之后，需要在深度信念网的最顶层加一层逻辑回归层，来表示期望得到的输出，逻辑回归层由输入层和输出层组成，采用有监督学习的算法，逻辑回归层的输入即为微调样本集X_finetune，输出为设备的最终预测状态；

第三步、测试：运用第一步和第二步中训练的深度信念网络，对设备运行数据的测试样本集X_test中的样本进行测试。

2.根据权利要求1所述的一种基于深度信念网的设备运行状态评价方法，其特征在于：所述的第一步预训练的具体过程如下所述：

步骤1、设定受限的波尔兹曼机的层数为L，设备运行的相关数据样本构成训练样本集X_pretrain，设有M个样本；

步骤2、训练参数的确定，具体训练参数的确定如下：

步骤2-1、θ＝(W,a,b)为受限的波尔兹曼机的参数，W为两层之间的权值矩阵，a为隐层向可见层的偏置向量，b为可见层向隐层的偏置向量，v为可见层状态向量，h为隐层状态向量；

形成第i层受限的波尔兹曼机的输入向量，其中第一层即输入层为输入数据项，第i层由第i-1层产生；

产生过程如下：

(1)、选用sigmoid函数为激活函数，x＝{x₁…x_n}为输入向量，第一层为样本x＝{X₁…X_n}，计算输出向量h＝sigmoid(W_ix+b_i)；

(2)、用j表示某一层的第j个神经单元，定义能量函数为

(3)、根据能量函数得到(v,h)的联合概率分布其中为归一化因子；

(4)、计算第j个隐层单元的激活，输出为1，概率为同理，第j个可见层单元被重构激活的概率为

(5)、利用吉布斯抽样法得到下一层受限的波尔兹曼机的输入向量赋给x，即产生[0,1]上的随机数r；

步骤2-2、对第i个受限的波尔兹曼机采用k次对比散度算法进行训练，具体如下：

(1)、初始化学习率η，初始化(W,a,b)为较小的随机数，令ΔW＝0、Δa＝0、Δb＝0，k值通常取的小；

(2)、对训练样本中先根据本集中每一个样本进行k步吉布斯抽样，每一步抽样中先根据条件概率，更新t时刻的隐层单元状态，t取从1到k，再先根据条件概率，重构t+1时刻的可见层单元状态；

(3)、更新ΔW、Δa、Δb：

Δb_j＝Δb_j+[P(h_j＝1|v^m(0))-P(h_j＝1|v(k))]

(4)、更新W、a、b：

(5)、重复以上(2)-(4)进行受限的波尔兹曼机网络训练，直到达到设定的训练次数J或者学习率降到设定值；

以上步骤2-1与步骤2-2反复进行直至L层受限的波尔兹曼机都训练好。