[发明专利]一种分布式并行训练的方法和系统

说明书

本发明涉及了本发明基于上述目的提出了一种分布式并行训练的方法，包括以下步骤：执行多个GPU基于训练模型的训练以得到训练参数；根据训练参数的传输所需带宽确定GPU与CPU之间的第一总线的第一GPU数量阈值，并将该第一GPU数量阈值与GPU的数量进行比较；响应于GPU的数量大于第一GPU数量阈值，将GPU分组并计算每组GPU的训练参数之和；将各组的该训练参数之和通过第一总线上传至CPU，并根据CPU对全部训练参数之和计算的梯度平均值更新各GPU的训练模型。根据本发明的分布式并行训练的方法及系统优化了分布式并行训练，提高训练效率、节省深度学习训练时间并在一定程度上减轻CPU负担、增强深度学习效果。

技术领域

本发明涉及深度学习技术领域。本发明进一步涉及一种分布式并行训练的方法和系统。

背景技术

当前，人工智能已经在图像、语音等多个领域的技术上，取得了较大的突破，从而掀起新的科技革命。在可预见的未来，人工智能将对整个互联网乃至人们的日常生活造成深刻影响。而作为人工智能主要技术的深度学习，正在被广泛的研究和应用。

TensorFlow是谷歌在2015年11月9日正式开源的计算框架。TensorFlow计算框架可以很好地支持深度学习的各种算法，也是深度学习最流行的库之一，其支持中央处理器CPU和图形处理器GPU的分布式训练。它天生具备便携、高效、可扩展，还能在不同计算机上运行。

TensorFlow的分布式训练分为数据并行和模型并行两种方式。其中由于使用模型并行方式训练的模型准确度不够稳定，因此目前最主要使用的是数据并行方式训练。在数据并行方式下每个GPU上的训练模型相同，但训练数据不同。数据并行方式下使用同步更新参数和异步更新参数求平均梯度。同步更新是指每个GPU同时上传其训练产生的训练参数，CPU汇总所有GPU的训练参数，并求平均梯度，根据平均梯度更新模型的参数，以此方式损失下降稳定，容易得到最优解。异步更新是指不用等所有GPU的训练参数，每个GPU均可更新模型的参数，以此方式损失下降过程抖动较大，模型的参数容易移出最优解。因此目前广泛使用同步更新参数的数据并行方式进行训练。

在目前的单机多卡服务器中，多使用PCIe(高速串行计算机扩展总线标准，Peripheral Component Interface Express)总线结构，且分布式训练基本采用相同性能GPU。基于此，在GPU性能相同且使用PCIe接口的GPU服务器中，使用同步更新参数的数据并行方式进行训练，训练参数会同时上传至参数服务器。但是由于单个GPU训练所产生的训练参数的数据量已经非常大，对于单机多卡训练来说同时上传多个训练参数就非常容易造成GPU与CPU之间的第一PCIe总线拥堵，此时CPU必须要等待训练参数上传完成才能对这些数据进行任务繁重地处理，并且反馈处理结果同样可能造成总线拥堵，以上几点都会导致训练效率较低、浪费深度学习时间。

因此，需要提出一种优化深度学习分布式并行训练的方法来解决上述提到的问题，提高训练效率、节省深度学习训练时间并在一定程度上减轻CPU负担。

发明内容

一方面，本发明基于上述目的提出了一种分布式并行训练的方法，包括以下步骤：

执行多个GPU基于训练模型的训练以得到训练参数；

根据训练参数的传输所需带宽确定GPU与CPU之间的第一总线的第一GPU数量阈值，并将该第一GPU数量阈值与GPU的数量进行比较；

响应于GPU的数量大于第一GPU数量阈值，将GPU分组并计算每组GPU的训练参数之和；

将各组的该训练参数之和通过第一总线上传至CPU，并根据CPU对全部训练参数之和计算的梯度平均值更新各GPU的训练模型。

根据本发明的分布式并行训练的方法的实施例，其中执行多个GPU基于训练模型的训练以得到训练参数进一步包括：