[发明专利]一种基于spark的遗传算法优化的BP神经网络并行化方法

摘要

本发明提供了一种基于spark的遗传算法优化的BP神经网络并行化方法，通过采用spark并行编程模型改进遗传算法对BP神经网络的权值进行全局进化寻优，经过一定次数的进化迭代后，得到优化的神经网络初始权值，再使用并行的BP神经网络算法进行迭代，最终输出网络结构。在训练过程中，各个阶段都可以多节点并行处理，大大提升BP神经网络的收敛速度，提高训练的效率。

主权项

1.一种BP神经网络并行化方法，其特征主要包括：步骤1：数据预处理，将全局训练集切分成多个子集和，并且存储到分布式文件系统中；步骤2：采用遗传算法对BP神经网络的权值进行全局进化寻优，得到优化的网络初始权值；其中所述步骤2进一步包括以下步骤2.1到步骤2.6：步骤2.1：在spark集群中启动实现map接口的作业，各个节点将部分训练数据作为RDD输入，将每个个体编码成染色体，生成新的种群RDD数据集；步骤2.2：将新生成的种群RDD作map转换处理，根据适应度函数计算每个个体的适应度值；步骤2.3：由个体适应度值所决定的规则，选择将进入下一代的个体，生成优胜劣汰后的种群RDD；步骤2.4：将步骤2.3中生成的种群RDD作交叉操作；步骤2.5：将步骤2.4中生成新的种群RDD作变异操作；步骤2.6：若迭代次数满足条件或结果达到收敛条件，得到初始网络权值，结束；若未达到收敛条件，进入步骤2.2进行下一轮的迭代；步骤3：在各计算节点上均采用优化后的网络初始权值建立自身的神经网络结构；步骤4：采用BP神经网络算法，对原始训练数据集进行迭代训练；其中所述步骤4进一步包括以下步骤4.1到步骤4.4：步骤4.1：在Driver进程中读取网络初始权值，并广播到每个计算节点；步骤4.2：在每个计算节点上用初始权值实例化一个网络结构；步骤4.3：在每个计算节点上，使用批量训练的模式将部分样本作用于网络上，进行预定次数的迭代后输出网络权值；步骤4.4：综合各个节点的输出获得新的网络权值，并根据网络权值的调整量决定是否进行再次迭代；步骤5：输出训练后的神经网络结构。