[发明专利]基于多面体模型建模的自动并行策略搜索方法及相关设备

说明书

本发明公开了基于多面体模型建模的自动并行策略搜索方法及相关设备，所述方法包括：根据用户输入的模型对象得到深度学习算法的模型计算图；对模型计算图进行转换，得到转换后的模型计算图；将转换后的模型计算图进行均衡处理，得到均衡计算图；根据所述均衡计算图，创建多面体模型实例，并根据多面体模型实例输出并行策略；调用底层框架执行并行策略。本发明中通过将模型计算图进行转换及均衡处理，并在多面体模型的框架下创建多面体模型实例后，自动输出并行策略，实现了在多面体模型下将不同的算法逻辑进行建模，并自动输出并行策略过程，提升了并行策略搜索的效率，降低了深度学习算法的分布式训练开发和效率调优难度。

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于多面体模型建模的自动并行策略搜索方法及相关设备。

背景技术

近十年来，深度学习技术不断刷新视觉、自然语言、语音、搜索、推荐等领域各种任务的纪录。这其中的原因，用一个关键词描述就是“大规模”。大规模的数据使得模型有足够的知识可以记忆，大规模参数量的模型使得模型本身有能力记忆更多的数据，大规模高性能的算力(以GPU为典型代表)使得模型的训练速度有百倍甚至千倍的提升。数据、模型、算力的发展催生了大规模深度学习这个领域，如何进行多机任务的拆分、如何配置集群训练资源、如何平衡训练速度和收敛速度、如何训练单机无法训练的模型、弹性训练与容错等都是这个方向重点研究的问题。分布式训练正是解决上述问题，提升训练效率的最有效手段，分布式训练的核心目的是加快模型的训练速度。

目前主流深度学习框架如TensorFlow(TensorFlow是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现)、Pytorch(PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序)、Mindspore(MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架)、PaddlePaddle(飞桨(PaddlePaddle)是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台)都具备了多机分布式训练功能，主要并行方式有数据并行(数据并行，是指AI模型在分布式训练时，把训练数据样本且分到多个计算设备进行分布式计算的过程)、算子并行、流水线并行(流水线技术是指在程序执行时多条指令重叠进行操作的一种准并行处理实现技术)等模式，然而这些并行模式需要算法开发者根据算法模型特点调用AI框架提供的并行切分API实现，这种方式提高了AI算法分布式训练的技术难度，同时由于算法开发者对于AI框架和计算设备特点掌握不足，导致模型并行训练效率低下，具体的分布式调优工作提高了算法开发的难度同时降低了算法研究的效率。

针对这一难题，Mindspore框架提出具备了模型的自动并行训练功能，FlexFlow框架也提出了一种基于4维度并行策略空间建模的搜索策略，RaNNC框架提出了一种支持Pytorch前端的流水线并行策略自动搜索中间件，然而由于并行策略搜索空间规模大(与计算图规模与资源空间规模相关)，上述这些工作在自动并行搜索效率方面很难做到实用，比如RaNNC框架在实现4.9B参数量BERT-enlarge模型在4节点32卡上的流水线并行策略搜索时，所需的策略搜索时间达到了4小时以上，这在一定程度上提高了模型训练开发时的调试和训练时间，降低了效率。因而现有技术还有待改进和提高。

发明内容

本发明的主要目的在于提供一种基于多面体模型建模的自动并行策略搜索方法及相关设备，旨在解决现有技术中在对大规模的深度学习的模型进行训练时，需要算法开发者自行配置并行策略，这样就会造成训练效率低，开发难度大的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种基于多面体模型建模的自动并行策略搜索方法，包括：

根据用户输入的模型对象得到深度学习算法的模型计算图；

对所述模型计算图进行转换，得到转换后的模型计算图；

将转换后的模型计算图进行均衡处理，得到均衡计算图；