[发明专利]一种基于拓扑结构提高深度学习训练速度的方法及装置

权利要求书

1.一种基于拓扑结构提高深度学习训练速度的方法，其特征是，包括：

获取CPU以及GPU的拓扑信息并进行保存；

根据训练任务判断所需GPU是否为一个，如果判断结果为是，根据拓扑信息，选择与该GPU具有互联关系的CPU和所述GPU进行绑定，执行深度学习训练任务；

如果判断结果为否，根据GPU拓扑信息确定GPU的优先级关系，根据所述GPU的优先级关系确定GPU的编号，根据确定的GPU编号依次选择与该GPU具有互联关系的CPU和所述GPU进行绑定，执行深度学习训练任务。

2.根据权利要求1所述的基于拓扑结构提高深度学习训练速度的方法，其特征是，所述训练任务包括单机单卡任务以及单机多卡任务，其中单机单卡任务为单个计算设备单个GPU完成的训练任务，所述单机多卡任务为单个计算设备多个GPU完成的训练任务。

3.根据权利要求1所述的基于拓扑结构提高深度学习训练速度的方法，其特征是，所述保存形式为数据库或列表。

4.根据权利要求1所述的基于拓扑结构提高深度学习训练速度的方法，其特征是，所述GPU的优先级关系具体包括：第一优先级为具有nvlink方式连接的GPU，第二优先级为具有PCIE switch方式连接的GPU,第三优先级为具有PCIE方式连接的GPU，其中，第一优先级高于第二优先级，第二优先级高于第三优先级。

5.根据权利要求4所述的基于拓扑结构提高深度学习训练速度的方法，其特征是，所述第二优先级中PCIE switch方式具体包括PIX模式，PXB模式。

6.根据权利要求4所述的基于拓扑结构提高深度学习训练速度的方法，其特征是，所述第三优先级中PCIE方式具体包括PHB模式,NODE模式，SYS模式。

7.根据权利要求1所述的基于拓扑结构提高深度学习训练速度的方法，其特征是，当训练任务判断所需GPU为一个时，根据拓扑信息，和所述GPU进行绑定的CPU数目为4个。

8.根据权利要求1所述的基于拓扑结构提高深度学习训练速度的方法，其特征是，选取与GPU的绑定的CPU两两不同。

9.一种基于拓扑结构提高深度学习训练速度的装置，其特征是，包括：

获取模块，获取CPU以及GPU的拓扑信息并进行保存；

判断模块，根据训练任务判断所需GPU是否为一个，如果判断结果为是，根据拓扑信息，选择与该GPU具有互联关系的CPU和所述GPU进行绑定，执行深度学习训练任务；

多卡选择模块，如果判断结果为否，根据GPU拓扑信息确定GPU的优先级关系，根据所述GPU的优先级关系确定GPU的编号，根据确定的GPU编号依次选择与该GPU具有互联关系的CPU和所述GPU进行绑定，执行深度学习训练任务。