[发明专利]一种基于遗传算法的分布式参数服务器更新方法

说明书

本发明提供一种基于遗传算法的分布式参数服务器更新方法，该方法在工作节点前向传播计算出损失函数的损失值Loss后，就将损失值发送给参数服务器，参数服务器此时就可以利用损失值进行遗传算法的选择，并等待各工作节点后向传播计算出各层参数的梯度，发送回来。即利用了同步等待的时间，来根据损失值对工作节点的参数进行评估，进行一定的筛选，并使用交叉变异增加随机性，使得参数更新时不再使用所有的梯度的加和，而是对于收敛性好的工作节点的参数会保留，对于收敛性差的工作节点的参数进行丢弃。每一次迭代时同样经历一代筛选，经过多代筛选后，得到最优的个体基因型，将其对应到工作节点的梯度选用上，从而运用到参数更新中。

技术领域

本发明涉及人工智能领域，更具体地，涉及一种基于遗传算法的分布式参数服务器更新方法。

背景技术

典型的包含参数服务器的深度学习系统结构包括一个或多个参数服务器节点，多个工作节点。参数服务器节点共同维护和更新全局共享参数，彼此可以互相通信，多个工作节点保存一部分输入的训练数据集，彼此之间没有通信，各自利用数据集进行前向传播和后向传播计算得到新的模型梯度，并及时发回参数服务器，跟参数服务器交换最近的模型参数，从而进行下一轮的训练。

在同步的数据并行模式中，随机梯度下降(SGD，Stochastic Gradient Descent)算法被普遍使用，它在每次梯度计算中，训练数据集分划分为包含多个样本的小批量数据子集，每个工作节点完成一个完整的迭代需要进行以下四个步骤：

工作节点从参数服务器pull拉取最新的参数副本。

工作节点从本地训练数据集中取出最新的一批数据进行计算，得到新的参数梯度。

工作节点将新的计算的参数梯度推送给参数服务器。

参数服务器汇总各个工作节点的梯度，并进行计算更新参数。

其中第一步和第三步的参数交换是阻塞式网络通信即同步通信，第二跟第四步是模型训练准确率提升的关键所在。从最开始Alex Smola采用分布式的Memcache缓存技术作为存放参数的存储，用于不同工作节点之间同步模型参数，到现在最新的李沐提出的第三代参数服务器架构，关注点一直放在如何缩短参数交换的时间，解决工作节点与参数服务器的通信瓶颈，而第四步参数更新的计算一直沿用先汇总所有工作节点的梯度，最新的参数等于当前参数减去汇总后的平均参数梯度与学习速率的乘积的办法，与本发明最相似的是在除考虑梯度的因素外，为了防止过拟合，使用正则化方法在目标函数中增加了参数范数惩罚项，使得参数更新时需要减去梯度和权重衰减两部分的影响。

目前，参数服务器的主要作用仍然是负责存储和更新参数，但是在同步的数据并行模式下，每个工作节点想要拉取最新的参数进行下一批数据的训练时需要等待参数服务器汇合所有工作节点的梯度并进行计算，在此之前一直处于阻塞状态，造成了时间的浪费。并且参数服务器的职责过于单一，利用梯度进行更新的办法计算简单，没有考虑不同工作节点产生的参数梯度对整体训练效果的影响，因此需要较多的迭代次数才能达到较高的准确率。

发明内容

本发明提供一种较高的准确率的基于遗传算法的分布式参数服务器更新方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于遗传算法的分布式参数服务器更新方法，包括以下步骤：

S1：参数服务器接收到各工作节点发送的损失值Loss；

S2：使用二进制编码方法对各工作节点的损失值Loss进行编码；

S3：使用随机方法产生初始群体；

S4：对初始群体中的每一个个体进行适应度计算；

S5：采用轮盘赌选择方法对群体中的个体进行选择计算；