[发明专利]基于层级调度的分布式深度学习系统及学习方法

说明书

本发明揭示了一种基于层级调度的分布式深度学习系统及学习方法，系统包括：工作节点端，用于建立深度学习模型，完成计算并将计算结果进行通信传输；服务器端，用于接收并分析来自工作节点端的计算结果，对深度学习模型进行更新并将更新结果反馈至工作节点端。方法包括：工作节点步骤，建立深度学习模型，完成计算并将计算结果进行通信传输；服务器步骤，接收并分析来自工作节点端的计算结果，对深度学习模型进行更新并将更新结果反馈至工作节点端。本发明实现了对于深度学习模型的有效分析，对分布式深度学习模型中不同工作节点直接结果的汇总传输起到了优化作用。

技术领域

本发明涉及一种深度学习系统及学习方法，具体而言，涉及一种基于层级调度的分布式深度学习系统及学习方法，属于深度学习技术领域。

背景技术

随着深度学习技术的持续发展，以深度学习为基础的服务在人们的日常生活中随处可见。面对不断增加的数据量、计算量和模型参数量，如何才能实现快速的分布式计算和结果汇总，从而能够以更快的速度达到模型正确率的要求，也就成为了当今工业界和学术界一致关注的重要研究方向之一。

在此背景下，分布式深度学习中的网络传输部分得到了学术界和工业界越来越多的关注。目前，分布式深度学习模型的框架有很多，它们在应用过程中会产生大量的从工作节点到服务器的传输数据，这类模型的计算结果具有数据量和计算时间分布不均的特点，从中总结出模型的具体特点并设置对应的传输策略非常重要。为了能够更好的提高计算速率，计算结果的传输需要结合模型中的具体情况，因为只有结合了具体的传输结果，才能给出更为准确地传输策略判断。

综上所述，如何在现有技术的基础上提出一种全新的分布式深度学习模型及学习方法，提升分布式深度学习的效率、尤其是从工作节点到服务器的传输效率，也就成为了本领域内技术人员亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于层级调度的分布式深度学习系统及学习方法。具体如下。

一种基于层级调度的分布式深度学习系统，包括：

工作节点端，用于建立深度学习模型，完成计算并将计算结果进行通信传输；

服务器端，用于接收并分析来自工作节点端的计算结果，对深度学习模型进行更新并将更新结果反馈至工作节点端；

所述工作节点端包括，

计算模块，用于建立并训练深度学习模型，沿正向传播及反向传播的方向计算结果，

存储器，用于对等待上传的计算模块的计算结果进行存储或压缩储存，

节点端层级控制器，用于对计算模块的计算结果进行传输控制；

所述服务器端包括，

服务器端层级控制器，用于与节点端层级控制器建立通信连接，接收并分析来自工作节点端的计算结果，

模型更新模块，用于在工作节点端的计算完成后对深度学习模型进行更新，并将更新后的数据反馈至工作节点端。

优选地，所述存储器包括：

数据压缩模块，用于对计算模块中数据量大的计算结果进行数据压缩，减少其在存储器中的存储资源消耗；

数据存储模块，用于存储来自计算模块的、等待上传的计算结果以及来自数据压缩模块的、经过数据压缩后的压缩数据结果。

优选地，所述节点端层级控制器包括：

模型分析模块，用于对所训练的深度学习模型进行分析，基于分析结果对深度学习模型不同层的计算结果进行分类处理，对需要进行等待的部分通过存储器进行压缩存储，对可以直接传输的部分直接通过节点端传输模块进行传输；