[发明专利]基于全局率权重的分布式深度学习系统

说明书

一种基于全局率权重的分布式深度学习系统，所述系统包括多个工作节点和服务器；所述多个工作节点与所述服务器耦接；所述工作节点，适于按照预设的周期向服务器发送对应的网络分析参数；所述服务器，适于基于所述工作节点发送的网络分析参数，为工作节点分配对应的全局率学习权重。上述的方案，可以提高神经网络模型参数训练的效率。

技术领域

本发明属于神经网络模型技术领域，特别是涉及一种基于全局率权重的分布式深度学习系统。

背景技术

随着深度学习的发展，数据增多计算规模增大，分布式深度学习变得愈发重要。面对大规模的分布式深度学习，如何才能够实现对分布式深度学习的高效处理，准确地为用户提供用户需求的服务，成为当今工业界和学术界一致关注的重要研究方向之一。为了提升分布式学习的效率和健壮性，只有正确处理工作节点掉队的问题，

但是，采用现有的分布式深度学习方法训练得到的神经网络模型参数，存在效率低下的问题。

发明内容

本发明解决的技术问题是如何提高神经网络模型参数训练的效率。

为了达到上述目的，本发明提供了一种基于全局率权重的分布式深度学习系统，所述系统包括多个工作节点和服务器；所述多个工作节点与所述服务器耦接；

所述工作节点，适于按照预设的周期向服务器发送对应的网络分析参数；

所述服务器，适于基于所述工作节点发送的网络分析参数，为工作节点分配对应的全局率学习权重。

可选地，所述工作节点，适于在参数训练阶段将对应的网络分析参数发送至所述服务器。

可选地，所述工作节点，适于将对应周期更新的局部训练参数与全局训练参数之间的差值与全局训练参数之间的差值作为所述网络分析参数。

可选地，所述服务器，适于基于所述差值，计算得到为所述工作节点分配的全局率学习权重。

可选地，所述服务器，适于采用如下的公式计算得到为所述工作节点分配的全局率学习权重：

其中，η表示工作节点的权重值，t表示预设的阈值，d表示所述工作节点更新的神经网络模型参数中局部训练参数与全局训练参数之间的差值，C表示预设的常数。

可选地，所述服务器，还适于基于所述工作节点发送的网络分析参数，对所述工作节点更新的局部训练参数进行过滤。

可选地，所述服务器，适于当确定所述差值大于或等于预设的阈值时，对所述工作节点更新的局部训练参数进行丢弃；当确定所述差值小于预设的阈值时，对所述工作节点更新的局部训练参数进行接收并保存。

与现有技术相比，本发明的有益效果为：

上述的方案，通过所述服务器基于所述工作节点发送的网络分析参数，为工作节点分配对应的全局率学习权重，为工作节点分配向适配的全局率学习权重，可以降低工作节点的掉队情形对神经网络模型训练的影响，故可以提高神经网络学习的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于全局率权重的分布式深度学习系统的结构示意图；

图2是本发明实施例的一种基于全局率权重的分布式深度学习方法的流程示意图。

具体实施方式