[发明专利]基于多面体模型建模的自动并行策略搜索方法及相关设备

权利要求书

1.一种基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述基于多面体模型建模的自动并行策略搜索方法包括：

根据用户输入的模型对象得到深度学习算法的模型计算图；

对所述模型计算图进行转换，得到转换后的模型计算图；

将转换后的模型计算图进行均衡处理，得到均衡计算图；

根据所述均衡计算图，创建多面体模型实例，并根据所述多面体模型实例输出并行策略；

调用底层框架执行所述并行策略。

2.根据权利要求1所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述根据用户输入的模型对象得到深度学习算法的模型计算图的步骤具体包括：

根据用户输入的模型对象得到一个算法模型；

随机输入一个数值至所述算法模型后，记录所述算法模型的计算过程，得到所述模型计算图；

或通过python解释器对所述模型对象解析后生成语法树，再对所述语法树进行分析，得到所述模型计算图。

3.根据权利要求2所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述对所述模型计算图进行转换，得到转换后的模型计算图的步骤具体包括：

用预先定义的中间表示法对所述模型计算图重新进行表示，得到转换后的模型计算图。

4.根据权利要求3所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述将转换后的模型计算图进行均衡处理，得到均衡计算图的步骤具体包括：

设定节点的平均计算量阈值，将转换后的模型计算图中的计算量节点与所述平均计算量阈值进行比较；

将小于所述平均计算阈值的相邻计算量节点进行融合，并将大于所述平均计算阈值的计算量节点进行拆分，得到均衡计算图。

5.根据权利要求4所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述根据所述均衡计算图，创建多面体模型实例，并根据所述多面体模型实例输出并行策略的步骤具体包括：

创建一个多面体优化模型；

根据所述均衡计算图初始化所述多面体优化模型，得到一个多面体模型实例；

根据所述多面体模型实例和用户输入的计算资源数量，输出并行策略。

6.根据权利要求3所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述调用底层框架执行所述并行策略的步骤具体包括：

调用底层框架的执行API来执行所述并行策略。

7.根据权利要求1所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述模型对象是指用户预先定义的深度学习算法的单机训练代码。

8.根据权利要求3所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述预先定义的中间表示法包括：IRType、IRValue、IRNode和IRGraph。

9.根据权利要求5所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述并行策略包括数据并行切分维度和流水线并行切分维度。

10.根据权利要求6所述的基于多面体模型建模的自动并行策略搜索方法，其特征在于，所述执行API为底层AI框架中的运行管理器。

11.一种自动并行策略搜索系统，其特征在于，所述自动并行策略搜索系统包括：

计算图生成模块，用于根据用户定义的深度学习算法逻辑得到模型计算图；

计算图转换模块，用于对所述模型计算图进行转换，得到转换后的模型计算图；

计算图均衡模块，用于将转换后的模型计算图进行均衡处理，得到均衡计算图；

并行策略搜索模块，用于根据所述均衡计算图，创建多面体模型实例，并根据所述多面体模型实例输出并行策略；

并行策略执行模块，用于调用底层框架执行所述并行策略。