[发明专利]参数服务器、客户机、权值参数的处理方法及系统

说明书

本申请涉及一种参数服务器、客户机、权值参数的处理方法及系统。所述参数服务器包括处理器和通信接口；所述通信接口，用于接收各客户机发送的梯度参数；所述处理器，用于根据各梯度参数，更新本地存储的待训练的神经网络模型的第一权值参数，得到第二权值参数；所述处理器，还用于根据预设的量化算法和数据格式转换算法，对所述第二权值参数进行量化处理和数据格式转换处理，得到第三权值参数；所述通信接口，还用于将所述第三权值参数发送至所述各客户机，以使所述各客户机将本地的待训练的神经网络模型的权值参数更新为所述第三权值参数。采用本申请可以减少神经网络的训练时长。

技术领域

本申请涉及计算机技术领域，特别是涉及一种参数服务器、客户机、权值参数的处理方法及系统。

背景技术

在大数据集上训练的神经网络模型在语音识别、图像识别、自然语言处理等许多领域都取得了显著的效果。目前，传统的神经网络模型的训练方式为单机训练方式，也即采用单台训练机对待训练的神经网络模型进行训练。由于在神经网络模型的训练过程中，需要大量的样本数据进行训练，才能得到满足要求的神经网络模型，从而导致采用单机训练方式的训练时长较长。例如，在一台安装有GPU(Graphics Processing Unit，图形处理器)的训练机上完成一次基于ImageNet(一个用于视觉对象识别软件研究的大型可视化数据库)等基准数据集的训练，需要耗费长达一周的时间。因此，亟需一种可以降低训练时长的神经网络训练方案。

发明内容

基于此，有必要针对上述技术问题，提供一种参数服务器、客户机、权值参数的处理方法及系统。

第一方面，提供了一种参数服务器，所述参数服务器包括处理器和通信接口；

所述通信接口，用于接收各客户机发送的梯度参数；

所述处理器，用于根据各梯度参数，更新本地存储的待训练的神经网络模型的第一权值参数，得到第二权值参数；

所述处理器，还用于根据预设的量化算法和数据格式转换算法，对所述第二权值参数进行量化处理和数据格式转换处理，得到第三权值参数；

所述通信接口，还用于将所述第三权值参数发送至所述各客户机，以使所述各客户机将本地的待训练的神经网络模型的权值参数更新为所述第三权值参数。

作为一种可选的实施方式，所述第二权值参数对应的数据类型的长度大于所述第三权值参数对应的数据类型的长度。

作为一种可选的实施方式，所述第二权值参数对应的数据类型为单精度数据类型或双精度数据类型，所述第三权值参数对应的数据类型为整数数据类型。

作为一种可选的实施方式，所述通信接口，还用于将所述第三权值参数通过广播方式发送至所述各客户机。

第二方面，提供了一种客户机，所述客户机包括处理器和通信接口；

所述通信接口，用于接收参数服务器发送的第三权值参数；

所述处理器，用于将待训练的神经网络模型的权值参数更新为所述第三权值参数，得到更新后的神经网络模型，将样本数据输入至所述更新后的神经网络模型，得到输出结果，并根据预设的梯度算法和所述输出结果，确定梯度参数；

所述通信接口，还用于将所述梯度参数发送至所述参数服务器，以使所述参数服务器根据各客户机发送的梯度参数，更新所述参数服务器中存储的第二权值参数。

第三方面，提供了一种权值参数的处理系统，所述系统包括如第一方面任一项所述的参数服务器和多个如第二方面所述的客户机。

第四方面，提供了一种权值参数的处理方法，所述方法应用于参数服务器，所述方法包括：

接收各客户机发送的梯度参数；