[发明专利]基于层级调度的分布式深度学习系统及学习方法

权利要求书

1.一种基于层级调度的分布式深度学习系统，其特征在于，包括：

工作节点端，用于建立深度学习模型，完成计算并将计算结果进行通信传输；

服务器端，用于接收并分析来自工作节点端的计算结果，对深度学习模型进行更新并将更新结果反馈至工作节点端；

所述工作节点端包括，

计算模块，用于建立并训练深度学习模型，沿正向传播及反向传播的方向计算结果，

存储器，用于对等待上传的计算模块的计算结果进行存储或压缩储存，

节点端层级控制器，用于对计算模块的计算结果进行传输控制；

所述服务器端包括，

服务器端层级控制器，用于与节点端层级控制器建立通信连接，接收并分析来自工作节点端的计算结果，

模型更新模块，用于在工作节点端的计算完成后对深度学习模型进行更新，并将更新后的数据反馈至工作节点端。

2.根据权利要求1所述的基于层级调度的分布式深度学习系统，其特征在于，所述存储器包括：

数据压缩模块，用于对计算模块中数据量大的计算结果进行数据压缩，减少其在存储器中的存储资源消耗；

数据存储模块，用于存储来自计算模块的、等待上传的计算结果以及来自数据压缩模块的、经过数据压缩后的压缩数据结果。

3.根据权利要求1所述的基于层级调度的分布式深度学习系统，其特征在于，所述节点端层级控制器包括：

模型分析模块，用于对所训练的深度学习模型进行分析，基于分析结果对深度学习模型不同层的计算结果进行分类处理，对需要进行等待的部分通过存储器进行压缩存储，对可以直接传输的部分直接通过节点端传输模块进行传输；

节点端传输模块，用于通过通信协议将深度学习模型不同层的计算结果进行通信传输。

4.根据权利要求1所述的基于层级调度的分布式深度学习系统，其特征在于，所述服务器端层级控制器包括：

进度分析模块，用于对整体的计算及上传进度进行监测分析，对不同工作节点端的任务进度进行调度分配；

服务器端传输模块，用于通过通信协议与工作节点端建立数据通信，完成数据结果的接收及反馈。

5.根据权利要求3或4任一所述的基于层级调度的分布式深度学习系统，其特征在于：所述通信协议为TCP/IP协议。

6.一种基于层级调度的分布式深度学习方法，其特征在于，包括如下步骤：

S1、工作节点步骤，建立深度学习模型，完成计算并将计算结果进行通信传输；

S2、服务器步骤，接收并分析来自工作节点端的计算结果，对深度学习模型进行更新并将更新结果反馈至工作节点端；

S1所述工作节点步骤包括，

S11、计算步骤，建立并训练深度学习模型，沿正向传播及反向传播的方向计算结果，

S12、存储步骤，对等待上传的计算模块的计算结果进行存储或压缩储存，

S13、节点端层级控制步骤，对计算模块的计算结果进行传输控制；

S2所述服务器步骤包括，

S21、服务器端层级控制步骤，与节点端层级控制器建立通信连接，接收并分析来自工作节点端的计算结果，

S22、模型更新步骤，在工作节点端的计算完成后对深度学习模型进行更新，并将更新后的数据反馈至工作节点端。

7.根据权利要求1所述的基于层级调度的分布式深度学习方法，其特征在于，S12所述存储步骤包括：

S121、数据压缩步骤，对计算模块中数据量大的计算结果进行数据压缩，减少其在存储器中的存储资源消耗；

S122、数据存储步骤，存储来自计算模块的、等待上传的计算结果以及来自数据压缩模块的、经过数据压缩后的压缩数据结果。