[发明专利]深度神经网络的运算系统及运算方法

权利要求书

1.一种深度神经网络的运算系统，其特征在于，包括：

主服务器，用于将训练任务下发至计算模块；以及进行中心参数服务器的逻辑控制；

多个中心参数服务器，用于根据所述计算模块的传输请求，将计算模型传输至相应的计算模块；以及接收所述计算模块上报的计算梯度，并根据所述计算梯度对相应的所述计算模型进行更新操作；以及

多个所述计算模块，包括：

本地参数服务器，用于按计算周期，从所述中心参数服务器下载相应的所述计算模型，并将所述计算模型分发至各个计算单元；以及按所述计算周期，接收所述计算单元上报的计算梯度，并对所述计算梯度进行累加，以将累加后的计算梯度上传至所述中心参数服务器；以及

多个所述计算单元，用于根据所述训练任务生成相应的所述传输请求；根据所述计算模型进行训练计算，以得到相应计算梯度；以及将所述计算梯度上报至所述本地参数服务器。

2.根据权利要求1所述的深度神经网络的运算系统，其特征在于，所述计算模型分片存储在多个所述中心参数服务器上；

所述本地参数服务器，用于按所述计算周期，从所有的所述中心参数服务器下载全部的所述计算模型。

3.根据权利要求1所述的深度神经网络的运算系统，其特征在于，所述本地参数服务器还包括用于存储所述计算梯度的计算梯度存储单元；

在每个所述计算周期开始时，所述本地参数服务器将所述计算梯度存储单元清零，以便将相应的所述计算单元上报的所述计算梯度在所述计算梯度存储单元中进行累加；

在每个所述计算周期结束时，所述本地参数服务器将累加后的计算梯度上传至相应的所述中心参数服务器。

4.根据权利要求1所述的深度神经网络的运算系统，其特征在于，所述本地参数服务器包括用于存储计算模型的计算模型存储单元；

当所述本地参数服务器将所述计算模型分发至各个所述计算单元时，所述计算模型存储单元设置为只读状态。

5.根据权利要求1所述的深度神经网络的运算系统，其特征在于，所述本地参数服务器在所述计算周期开始时，从所述中心参数服务器下载相应的所述计算模型，并将所述计算模型分发至各个计算单元。

6.根据权利要求1所述的深度神经网络的运算系统，其特征在于，同一所述本地参数服务器对应的多个所述计算单元，根据所述计算模型进行并行训练计算。

7.一种用于深度神经网络的运算系统的运算方法，其中所述运算系统包括主服务器、多个中心参数服务器以及多个计算模块；每个所述计算模块包括本地参数服务器以及多个计算单元；其特征在于，所述运算方法包括：

所述主服务器将训练任务下发至所述计算模块，所述计算模块根据所述训练任务生成传输请求；

所述中心参数服务器根据所述传输请求，将计算模型传输至相应的所述计算模块；

所述计算模块的所述本地参数服务器按计算周期，从所述中心参数服务器下载所述计算模型，并将所述计算模型分发至各个所述计算单元；

所述计算模块的所述计算单元根据所述计算模型进行训练计算，以得到相应的计算梯度，并将所述计算梯度上报至所述本地参数服务器；

所述本地参数服务器按所述计算周期，接收所述计算单元上报的计算梯度，并对所述计算梯度进行累加，以得到累加后的计算梯度；以及

所述中心参数服务器接收所述累加后的计算梯度，并根据所述累加后的计算梯度对相应的所述计算模型进行更新操作。

8.根据权利要求7所述的用于深度神经网络的运算系统的运算方法，其特征在于，所述计算模型分片存储在多个所述中心参数服务器上；

所述本地参数服务器按计算周期，从所述中心参数服务器下载所述计算模型的步骤具体为：

所述本地参数服务器按所述计算周期，从所有的所述中心参数服务器下载全部的所述计算模型。