[发明专利]一种基于PSO算法的DBN模型优化方法

摘要

本发明提出一种基于PSO算法的DBN模型优化方法。DBNs是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。为了使DBN模型预测更加精准，需要对DBN进行调优，包括层的个数、每一层的单元个数、学习率等。因此提出一种基于PSO算法的DBN模型优化方法，采用并行PSO(Particle Swarm Optimization)算法去寻找输入层和隐层的最优单元数目和RBM最优学习率，并在Spark平台上基于MapReduce的原理进行并行。

主权项

1.一种基于PSO算法的DBN模型优化方法，其特征在于，在原有DBN模型的基础上，结合PSO粒子群优化算法，对DBN模型进行优化调整，提高预测精度，包括以下步骤：步骤(1)、选择一类负载数据并初始化PSO；步骤(2)、分别使用粒子1、粒子2……粒子n训练模型；步骤(3)、比较训练的MSE，决定粒子群中最优粒子和每一个粒子中的最优历史位置；步骤(4)、更新每一个粒子的向量值；步骤(5)、判断MSE是否足够小，若足够小，则结束PSO，选择最优粒子来设计DBN预测器，否则转到步骤(2)继续训练模型。