[发明专利]神经网络模型拆分方法、装置、存储介质和计算机系统

权利要求书

1.一种神经网络模型拆分方法，其特征在于，所述方法包括：

将神经网络模型中的张量数据以及所述张量数据的关联信息输入循环神经网络模型；

迭代执行利用所述循环神经网络模型得到当前拆分策略，并根据所述当前拆分策略中各张量数据的不同拆分状态的概率分布，对所述神经网络中的张量数据的不同拆分状态的概率分布进行n次采样，得到n个拆分方案；其中，n为正整数；

计算所述n个拆分方案中每一拆分方案的执行时间；其中，根据所述拆分方案中的所有张量数据的拆分状态，计算所述拆分方案的执行时间，包括：根据所述拆分方案中的所有张量数据关联的算子的类型和规模，确定各个张量数据的对应的算子的计算负载和访存数据量；根据所述计算负载、所述访存数据量，计算所述拆分方案的执行时间；

根据所述每一拆分方案的执行时间，更新所述循环神经网络模型的参数，直至所述循环神经网络模型的神经网络收敛；

之后，所述循环神经网络模型输出目标拆分策略；

根据所述目标拆分策略得到目标拆分方案，按照所述目标拆分方案，对所述神经网络模型进行拆分。

2.根据权利要求1所述的方法，其特征在于，按照所述目标拆分方案，对所述神经网络模型进行拆分，包括：

根据目标拆分方案中每一张量数据的拆分维度和拆分数量，对所述每一张量数据进行分割，得到子张量数据。

3.根据权利要求2所述的方法，其特征在于，所述根据目标拆分方案中每一张量数据的拆分维度和拆分数量，对所述每一张量数据进行分割，包括：

根据每一张量数据的每个维度上的拆分段数确定对应的拆分维度上的拆分起点和拆分终点；

根据所述拆分起点和所述拆分终点，对所述每一张量数据进行分割。

4.根据权利要求3所述的方法，其特征在于，所述拆分维度包括批量大小、特征图像的个数、特征图像的高度、特征图像的宽度中的一个或多个。

5.根据权利要求1所述的方法，其特征在于，在所述将神经网络模型中的张量数据以及所述张量数据的关联信息输入循环神经网络模型，之前所述方法还包括：

在待处理的神经网络模型中的每个算子和所述算子的输入张量数据之间插入胶水算子，得到神经网络模型；其中，所述胶水算子用于对所述算子的输入张量数据的拆分状态进行调整。

6.根据权利要求1-5任一项所述的方法，其特征在于，在所述将神经网络模型中的张量数据以及所述张量数据的关联信息输入循环神经网络模型，之前所述方法还包括：

在待处理的神经网络模型的第i个算子和所述第i个算子的输入张量数据之间插入补偿算子，得到神经网络模型；其中，i为正整数，所述补偿算子用于对对应的输入张量数据进行补偿。

7.根据权利要求6所述的方法，其特征在于，在待处理的神经网络模型的第i个算子和所述第i个算子的输入张量数据之间插入补偿算子，得到神经网络模型，包括：

若第i个算子与第i+k个算子之间，插入多个补偿算子，则根据第i+k个算子的输入张量数据中各子张量数据的预设大小，确定合并补偿算子的补偿参数；

将合并补偿算子插入所述第i个算子和所述第i个算子的输入张量数据之间，并使用所述合并补偿算子的补偿参数配置所述合并补偿算子，得到神经网络模型。

8.根据权利要求1-5任一项所述的方法，其特征在于，在所述将神经网络模型中的张量数据以及所述张量数据的关联信息输入循环神经网络模型，之前所述方法还包括：

根据待处理的神经网络模型中的算子的类型，将所述待处理的神经网络模型中的多个算子进行融合得到融合算子，使用融合算子替换所述多个算子，得到神经网络模型。