[发明专利]一种基于拓扑结构提高深度学习训练速度的方法及装置

说明书

本发明为了解决现有技术中存在的问题，创新提出了一种基于拓扑结构提高深度学习训练速度的方法，包括：获取CPU以及GPU的拓扑信息；根据训练任务判断所需GPU的数量、GPU优先级关系、CPU以及GPU的拓扑关系，选择与GPU具有互联关系的CPU和所述GPU进行绑定，执行深度学习训练任务，本发明还提出了一种基于拓扑结构提高深度学习训练速度的装置，通过将与GPU具有互联关系的CPU和GPU绑定执行训练任务，省去GPU和不直接互联的CPU的通讯时间和带宽限制，有效提高了深度学习训练任务速度，降低训练任务所需时间，提高的深度学习训练的效率。

技术领域

本发明涉及深度学习领域，尤其是涉及一种基于拓扑结构提高深度学习训练速度的方法及装置。

背景技术

近年来深度学习发展迅速，图像处理、语音识别等领域都取得了飞速发展。例如在图片识别上，神经网络结构快速演进，分类的网络结构迅速发展。随着模型层次越来越深，参数越来越多，模型能力也越来越强，随着模型复杂度不断增长、训练样本的指数级增长。

深度学习训练任务，尤其对于复杂模型和大规模数据集训练会耗费大量时间，并且现今的主流深度学习框架在单机和分布式训练过程中都会有使用GPU和CPU来处理不同的过程。如利用GPU进行矩阵计算和张量操作等，而CPU则进行一部分简单的训练数据的预处理和梯度处理、消息广播等任务。

但是如何提高深度学习训练任务速度，降低训练任务所需时间，尤其对于复杂模型和大规模数据集训练，目前现有技术中并未有相关的方法解决。

发明内容

本发明为了解决现有技术中存在的问题，创新提出了一种基于拓扑结构提高深度学习训练速度的方法及装置，有效提高了深度学习训练任务速度，降低训练任务所需时间，提高的深度学习训练的效率。

本发明第一方面提供了一种基于拓扑结构提高深度学习训练速度的方法，包括：

获取CPU以及GPU的拓扑信息并进行保存；

根据训练任务判断所需GPU是否为一个，如果判断结果为是，根据拓扑信息，选择与该GPU具有互联关系的CPU和所述GPU进行绑定，执行深度学习训练任务；

如果判断结果为否，根据GPU拓扑信息确定GPU的优先级关系，根据所述GPU的优先级关系确定GPU的编号，根据确定的GPU编号依次选择与该GPU具有互联关系的CPU和所述GPU进行绑定，执行深度学习训练任务。

结合第一方面，在第一方面第一种可能的实现方式中，所述训练任务包括单机单卡任务以及单机多卡任务，其中单机单卡任务为单个计算设备单个GPU完成的训练任务，所述单机多卡任务为单个计算设备多个GPU完成的训练任务。

结合第一方面，在第一方面第二种可能的实现方式中，进一步地，所述保存形式为数据库或列表。

结合第一方面，在第一方面第三种可能的实现方式中，所述GPU的优先级关系具体包括：第一优先级为具有nvlink方式连接的GPU，第二优先级为具有PCIE switch方式连接的GPU,第三优先级为具有PCIE方式连接的GPU，其中，第一优先级高于第二优先级，第二优先级高于第三优先级。

进一步地，所述第二优先级中PCIE switch方式具体包括PIX模式，PXB模式。

结合第一方面，在第一方面第四种可能的实现方式中，所述第三优先级中PCIE方式具体包括PHB模式,NODE模式，SYS模式。

结合第一方面，在第一方面第五种可能的实现方式中，当训练任务判断所需GPU为一个时，根据拓扑信息，和所述GPU进行绑定的CPU数目为4个。

结合第一方面，在第一方面第六种可能的实现方式中，选取与GPU的绑定的CPU两两不同。