[发明专利]一种基于国产众核处理器的深度学习算法实现方法与平台

权利要求书

1.一种基于国产众核处理器的深度学习算法实现方法，其特征在于：深度学习算法的数据并行方式通过主从模式完成，包括以下步骤：

S1：将网络模型复制成n份，训练样本均分成n份；

S2：第i份网络模型利用第i个训练样本子集做迭代训练；

S3：每次迭代完成时，将参数梯度上传至参数服务器；

S4：下次迭代开始前从参数服务器下载参数集作为本次迭代的初始参数。

2.如权利要求1所述的一种基于国产众核处理器的深度学习算法实现方法，其特征在于：集群中的其他计算资源负责不同数据分片的训练工作，计算出参数封信的梯度，传送给参数服务器更新模型参数。

3.如权利要求1或2所述的一种基于国产众核处理器的深度学习算法实现方法，其特征在于：所述参数服务器由单个核组构成，负责merge操作。

4.一种基于国产众核处理器的深度学习算法实现方法，其特征在于：深度学习算法核组间并行方式是由单个训练进程控制单个核组的计算，核组之间的信息交互通过MPI信息传递接口实现。

5.如权利要求4所述的一种基于国产众核处理器的深度学习算法实现方法，其特征在于：所述MPI主进程控制参数服务器，其他计算核组由MPI从进程控制。

6.如权利要求4或5所述的一种基于国产众核处理器的深度学习算法实现方法，其特征在于：所述MPI的设计方式为各进程同步执行或不同进程异步执行。

7.如权利要求6所述的一种基于国产众核处理器的深度学习算法实现方法，其特征在于：通过国产众核处理器中众核的核心数目并行加速热点函数的数据并行从而实现从核间的数据并行。

8.一种基于上述深度学习算法的实现平台，其特征在于：包括硬件集群平台，所述硬件集群平台的各节点内配置相同，计算节点内采用核心数量及主频相同的国产众核处理器。

9.如权利要求8所述的一种基于国产众核处理器的深度学习算法实现平台，其特征在于：所述国产众核处理器主存中存放的从核常用变量传输至从核局存中。

10.如权利要求8或9所述的一种基于国产众核处理器的深度学习算法实现平台，其特征在于：其中计算节点的互联、数据的传输采用万兆以太或Infiniband高度互联网络。