[发明专利]参数服务器、客户机、权值参数的处理方法及系统

权利要求书

1.一种参数服务器，其特征在于，所述参数服务器包括处理器和通信接口；

所述通信接口，用于接收各客户机发送的梯度参数；

所述处理器，用于根据各梯度参数，更新本地存储的待训练的神经网络模型的第一权值参数，得到第二权值参数；

所述处理器，还用于根据预设的量化算法和数据格式转换算法，对所述第二权值参数进行量化处理和数据格式转换处理，得到第三权值参数；

所述通信接口，还用于将所述第三权值参数发送至所述各客户机，以使所述各客户机将本地的待训练的神经网络模型的权值参数更新为所述第三权值参数。

2.根据权利要求1所述的参数服务器，其特征在于，所述第二权值参数对应的数据类型的长度大于所述第三权值参数对应的数据类型的长度。

3.根据权利要求2所述的参数服务器，其特征在于，所述第二权值参数对应的数据类型为单精度数据类型或双精度数据类型，所述第三权值参数对应的数据类型为整数数据类型。

4.根据权利要求1所述的参数服务器，其特征在于，所述通信接口，还用于将所述第三权值参数通过广播方式发送至所述各客户机。

5.一种客户机，其特征在于，所述客户机包括处理器和通信接口；

所述通信接口，用于接收参数服务器发送的第三权值参数；

所述处理器，用于将待训练的神经网络模型的权值参数更新为所述第三权值参数，得到更新后的神经网络模型，将样本数据输入至所述更新后的神经网络模型，得到输出结果，并根据预设的梯度算法和所述输出结果，确定梯度参数；

所述通信接口，还用于将所述梯度参数发送至所述参数服务器，以使所述参数服务器根据各客户机发送的梯度参数，更新所述参数服务器中存储的第二权值参数。

6.一种权值参数的处理系统，所述系统包括如权利要求1至4任一项所述的参数服务器和多个如权利要求5所述的客户机。

7.一种权值参数的处理方法，其特征在于，所述方法应用于参数服务器，所述方法包括：

接收各客户机发送的梯度参数；

根据各梯度参数，更新本地存储的待训练的神经网络模型的第一权值参数，得到第二权值参数；

根据预设的量化算法和数据格式转换算法，对所述第二权值参数进行量化处理和数据格式转换处理，得到第三权值参数；

将所述第三权值参数发送至所述各客户机，以使所述各客户机将本地的待训练的神经网络模型的权值参数更新为所述第三权值参数。

8.一种权值参数的处理方法，其特征在于，所述方法应用于客户机，所述方法包括：

接收参数服务器发送的第三权值参数；

将待训练的神经网络模型的权值参数更新为所述第三权值参数，得到更新后的神经网络模型，并将样本数据输入至所述更新后的神经网络模型，得到输出结果；

根据预设的梯度算法和所述输出结果，确定梯度参数，并将所述梯度参数发送至所述参数服务器，以使所述参数服务器根据各客户机发送的梯度参数，更新所述参数服务器中存储的第二权值参数。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求8所述的方法的步骤。