[发明专利]一种面向超级计算机的分布式并行深度神经网络性能评测方法

说明书

本发明公开了一种面向超级计算机的分布式并行深度神经网络性能评测方法，属于高性能计算与深度神经网络领域。本发明依次包括了分布式并行粒度设计、深度神经网络训练框架平台配置、分布式并行通信协议部署、深度神经网络优化、训练测试数据集切片、测试模式应用，为开发人员提供了一种通用的测试方法；分布式并行粒度的设计保障了单节点和多节点的全面测试；深度神经网络训练框架pytorch和底层分布式通信框架MPI的耦合确保了应用层部署和底层通信的可靠性；在不同处理器的单节点、不同处理器的多节点的测试，有助于实现对超级计算机计算资源的充分利用，提升程序计算性能，缩短神经网络训练花费时间，提升神经网络训练收敛速度。

技术领域

本发明属于高性能计算与深度神经网络领域，尤其是一种面向超级计算机的分布式并行深度神经网络性能评测方法。

背景技术

天河三号原型机采用的处理器包括FT-2000+(FTP)和MT-2000+(MTP)，FTP包含64个armv8架构的FTC662处理器核，工作主频为2.2-2.4GHZ，片上集成了32MB的二级cache，可提供204.8GB/s访存带宽，典型工作能耗约为100W；而MTP处理器，它包含总共128个armv8核，被组织为4个超级节点，主频最高可达2.0GHZ，整个处理器的消耗为240W。原型机没有支持例如caffe、pytorch、tensorflow等针对于深度神经网络的开发框架也没有提供针对平台分布式并行深度神经网络的评测方法，故而无法直接开展相应的分布式并行深度神经网络的评测，继而无法完整评测和有效利用天河三号超级计算机强大的计算能力。

深度神经网络(Deep Neural Network，DNN)是现代人工智能(ArtificialIntelligence，AI)应用的基础。近年来，由于DNN在自然语言处理和图像识别中里程碑式的表现，在无人驾驶、癌症检测和复杂决策等领域中得到了广泛应用，尤其是在图像领域，相比于支持向量积为代表的传统算法，基于深度学习的Ale×Net模型将分类准确性提高了两倍，从而引起了图像识别社区以及学术界的兴趣。DNN的卓越性能来源于其对大量数据进行统计学习以获取输入空间的有效表示，从而能够从原始数据中提取高级特征。这与早期使用专家设计的特定功能或规则的机器学习方法完全不同。但是，DNN卓越的表现是以高计算复杂度为代价的。随着数据集规模的增大和模型复杂程度的提升，DNN在训练过程中对计算强度和存储空间的需求也成比例增长。利用计算引擎(尤其是GPU)已成为许多加速DNN训练的主要手段，但人们对其他的DNN训练加速技术也有着更深的兴趣。为了使训练得到的DNN更具有竞争力，本质上需要高性能计算集群。而对上述系统，需要对DNN训练和推理(评估)等不同方面进行优化，以适应相应平台特点从而提高整体并发性。

高性能计算机的快速发展为深度神经网络的并行化提供了平台基础，丰富的并行编程框架为其并行化架起了桥梁的作用，因此如何结合深度神经网络的算法特点以及高性能计算集群的架构特性，利用并行编程框架设计能充分发挥高性能平台计算能力的神经网络分布式计算方法显得十分迫切。为了实现优化设计以充分发挥超算平台的高性能，需要对具体的高性能计算集群进行对应的评测和调优，该评测方法的提出对分布式并行深度神经网络在超级计算机平台高效应用有一定的指导意义。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种面向超级计算机的分布式并行深度神经网络性能评测方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种面向超级计算机的分布式并行深度神经网络性能评测方法，包括以下步骤：

步骤1、搭建神经网络执行框架

根据超级计算机的体系架构，将分布式粒度划分为同种计算节点的多节点和单节点两种类型，同时将并行粒度设计为不低于节点数目；

将pytorch分布式深度神经网络训练框架部署到超级计算机上；

将MPI作为底层分布式通信协议；