[发明专利]一种基于数据并行策略的分布式深度学习方法及系统

摘要

本发明公开了一种基于数据并行策略的分布式深度学习方法及系统，本发明的系统包括一个分布式计算框架Spark、PyTorch深度学习框架、轻量级Web应用框架Flask及pickle、urllib2等相关组件；Spark框架提供集群资源管理、数据分发、分布式计算的功能；PyTorch深度学习框架，提供神经网络定义的接口，提供神经网络上层训练计算的功能；flask框架提供参数服务器功能；urllib2模块负责提供工作节点与参数服务器节点的网络通信功能；pickle负责将神经网络模型中的参数序列化与反序列化，以在网络上进行传输。本发明有效的将PyTorch与Spark结合起来，通过Spark将PyTorch与底层分布式集群解耦、吸取了各自的优势，提供便捷的训练接口，高效实现基于数据并行的分布式训练过程。

主权项

1.一种基于数据并行策略的分布式深度学习方法，其特征在于，包括下列步骤：步骤1：输入用户基于PyTorch编写的待训练的神经网络模型，得到待训练的PyTorch神经网络模型P‑Model；以及用户为所述P‑Model设置下列训练参数：分布式训练参数，包括通信阈值、工作节点数量N和分布式更新算法；工作节点训练参数，包括迭代次数、批尺寸batch size、损失函数和工作节点的optimizer；全局训练参数，包括精度期望值和参数服务器的optimizer；步骤2：将P‑Model、工作节点训练参数和分布式训练参数中的通信阈值发送到N个工作节点，以及将P‑Model、全局训练参数和分布式训练参数中的分布式更新算法发送至参数服务器，将参数服务器上的P‑Model定义为全局神经网络模型；步骤3：将训练所述P‑Model的训练数据转化为RDD数据类型；并通过大数据分布式处理引擎Spark将转化后的训练数据等分为N份后分发到所述N个工作节点；步骤4：各工作节点基于本地的训练数据和工作节点训练参数，对本地的P‑Model进行迭代训练，更新本地神经网络模型参数；各工作节点在满足通信阈值时，计算本地神经网络模型参数的更新量并上传至参数服务器，其中更新量为当前神经网络模型参数与上次发生通信时的神经网络模型参数的差值；参数服务器基于工作节点上传的更新量、分布式更新算法、以及全局训练参数训练全局神经网络模型，更新全局神经网络模型参数并下发至工作节点，工作节点将接收的全局神经网络模型参数同步至本地的P‑Model；步骤5：重复执行步骤4，至到满足模型训练终止条件，参数服务器将全局神经网络模型输出；其中，模型训练终止条件为：各工作节点的实际迭代训练次数均达到工作节点训练参数中的迭代次数；或者模型训练终止条件为：参数服务器每次更新全局神经网络模型参数后，训练精度达到精度期望值。