[发明专利]一种基于遗传算法的分布式参数服务器更新方法

摘要

本发明提供一种基于遗传算法的分布式参数服务器更新方法，该方法在工作节点前向传播计算出损失函数的损失值Loss后，就将损失值发送给参数服务器，参数服务器此时就可以利用损失值进行遗传算法的选择，并等待各工作节点后向传播计算出各层参数的梯度，发送回来。即利用了同步等待的时间，来根据损失值对工作节点的参数进行评估，进行一定的筛选，并使用交叉变异增加随机性，使得参数更新时不再使用所有的梯度的加和，而是对于收敛性好的工作节点的参数会保留，对于收敛性差的工作节点的参数进行丢弃。每一次迭代时同样经历一代筛选，经过多代筛选后，得到最优的个体基因型，将其对应到工作节点的梯度选用上，从而运用到参数更新中。

主权项

1.一种基于遗传算法的分布式参数服务器更新方法，其特征在于，包括以下步骤：S1：参数服务器接收到各工作节点发送的损失值Loss；S2：使用二进制编码方法对各工作节点的损失值Loss进行编码；S3：使用随机方法产生初始群体；S4：对初始群体中的每一个个体进行适应度计算；S5：采用轮盘赌选择方法对群体中的个体进行选择计算；S6：使用单点交叉方法对已经选用的个体进行交叉运算；S7：使用随机变异对进行过交叉运算后的个体进行变异运算；S8：判断进行变异运算后的群体的适应度总和是否增加；若有增加，跳转到步骤S4，若没有增加就跳转到S9；S9：取出适应度最高的个体基因作为最优解；S10：参数服务器根据最优解对各个工作节点的参数进行取舍来更新参数。