[发明专利]一种基于国产众核处理器的深度学习算法实现方法与平台

说明书

技术领域

本发明属于计算机信息处理领域，具体涉及一种基于国产众核处理器的深度学习算法实现方法与平台。

背景技术

深度学习算法是通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布是表示，并展现强大的从少数样本集中学习数据集本质特征的能力。深度学习的实质，是通过构建具有多隐层的机器学习模型和海量的数据训练，来学习更有用的特征，从而最终提升分类或预测的准确性。

申威国产众核处理器，是完全国产化的用于高性能并行计算的众核处理器，其主核为运算控制核心，其功能与通用的处理器相似，可执行通用处理器的工作；从核为计算核心，主要负责运算，作用类似于协处理器。

MPI（Message Passing Interface）是目前国际上最流行的并行编程环境之一，尤其是分布式存储的可缩放并行计算机和工作站网络以及机群的一种编程范例。其具有可移植性和易用性，有完备的异步通信功能，有正式和详细的精确定义。

鉴于在深度学习领域，算法的深度、复杂程度逐渐增加，以及训练过程中要处理的数据量十分庞大，深度学习的发展与应用需要强大的计算能力做支撑。若仅仅使用普通的处理器进行模型训练，需要耗费非常长的时间，或搭建非常大规模的集群，操作繁琐冗余。

因此，提供一种基于国产众核处理器的深度学习算法实现方法与平台，是十分必要的。

发明内容

本发明的目的在于解决上述现有技术中存在的普通处理器进行模型训练耗时长、搭建复杂等难题，提供一种基于国产众核处理器的深度学习算法实现方法与平台。

本发明是通过以下技术方案实现的：

一种基于国产众核处理器的深度学习算法实现方法，深度学习算法的数据并行方式通过主从模式完成，包括以下步骤

S1：将网络模型复制成n份，训练样本均分成n份；

S2：第i份网络模型利用第i个训练样本子集做迭代训练；

S3：每次迭代完成时，将参数梯度上传至参数服务器；

S4：下次迭代开始前从参数服务器下载参数集作为本次迭代的初始参数；

深度学习模型训练的过程需要大量的数据处理，本方案采取数据并行的方式，将资源池中的所有训练数据分片，将这些数据分别分配给不同的计算进程进行训练。在数据分片训练完成后，需要对权重进行同步规约操作，然后将规约后的权重发送给各进程，以便训练其他数据分片。

作为优选，集群中的其他计算资源负责不同数据分片的训练工作，计算出参数封信的梯度，传送给参数服务器更新模型参数。

作为优选，所述参数服务器由单个核组构成，负责merge操作。

上述的深度学习算法实现方法中，其深度学习算法核组间并行方式是由单个训练进程控制单个核组的计算，核组之间的信息交互通过MPI信息传递接口实现。

针对国产众核平台的硬件架构以及每个核组都有独立的操作系统这一特点，核组之间的并行通过MPI实现。

作为优选，所述MPI主进程控制参数服务器，其他计算核组由MPI从进程控制。

作为优选所述MPI的设计方式为各进程同步执行或不同进程异步执行。

其中，同步执行是指：每个计算进程读取一道数据进行训练，在权重更新阶段，所有的进程都要将各自计算的梯度发送给参数服务器（主进程），参数服务器将各计算进程发来的梯度进行规约更新，然后将更新后的值同时发送给各计算进程，以便各进程处理下一批样本。各进程同步执行时，各进程之间每次训练之前的权重和偏置是相同的。

异步执行是指：每个进程读取一个分片的数据样本进行训练，将其计算的梯度交由参数服务器进行merge更新，然后参数服务器立即将更新后的值发送给此计算进程，此计算进程利用更新后的值训练下一个数据分片样本。异步执行时，每一个数据分片样本训练之前的权重与偏置都是不一样的。

同步执行往往会导致当进程的数量变大时，收敛的速度越来越慢，基于此提出了计算进程之间异步执行的方案以加快收敛速度。

上述的深度学习算法实现方法中，其深度学习算法核组内数据并行是通过国产众核处理器中众核的核心数目并行加速热点函数的数据并行来实现的。