[发明专利]神经网络模型处理方法、装置、计算机设备及存储介质

权利要求书

1.一种神经网络模型处理方法，其特征在于，所述方法应用于多核人工智能处理器，所述方法包括：

根据所述神经网络模型对应的计算图中目标算子，确定与所述目标算子关联的张量数据的拆分状态集合；

遍历所述拆分状态集合，确定相邻拆分状态集合之间所述目标算子的张量数据的拆分路径；

根据所述拆分路径的权重，确定所述目标算子的张量数据的目标拆分路径；

根据所述目标拆分路径对所述目标算子进行拆分，以分配到所述多核人工智能处理器的对应核进行处理；

其中，每种拆分路径的权重值为每种拆分路径后一个算子的所有子算子对应的第一最大值中的最大值，所述第一最大值为所述目标算子的每种拆分路径后对应的子算子的计算负载与所述多核人工智能处理器的核的计算吞吐速率的比值、所述算子的每种拆分路径后对应的子算子的访存数据量与所述多核人工智能处理器的核的访存带宽的比值两者之间的最大值。

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标算子的张量数据的目标拆分路径，包括：

遍历所述目标算子的张量数据的所有拆分状态集合，对当前拆分状态集合，遍历每一拆分状态，获得所有指向当前拆分状态的有向边以及所述有向边的起点对应的拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径；

根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径；其中，所述拆分路径的权重根据所述拆分路径对应的所有拆分路径的权重确定；

遍历完所述目标算子的所有拆分状态集合后，获得所述目标算子的输入张量数据的拆分状态集合与所述目标算子的输出张量数据的拆分状态集合之间的目标拆分路径。

3.根据权利要求1所述的方法，其特征在于，所述确定所述目标算子的张量数据的目标拆分路径，包括：

遍历所述目标算子的所有拆分状态集合，对当前拆分状态集合，遍历每一拆分状态，获得所有以当前拆分状态为起点的有向边以及所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径；

根据所述有向边的权重和所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径；其中，所述拆分路径的权重根据所述拆分路径对应的所有有向边的权重确定；

遍历完所述目标算子的所有拆分状态集合后，获得所述目标算子的输入张量数据的拆分状态集合与所述目标算子的输出张量数据的拆分状态集合之间的目标拆分路径。

4.根据权利要求1~3任一权利要求所述的方法，其特征在于，所述方法还包括：

在所述目标算子与关联的拆分状态集合之间插入胶水算子，调整所述拆分状态集合中的拆分状态；其中，所述胶水算子用于将所述张量数据按照一种拆分方式得到的拆分状态转换成按照任一种拆分方式得到的拆分状态。

5.根据权利要求4所述的方法，其特征在于，在所述目标算子与关联的拆分状态集合之间插入胶水算子的步骤包括：

利用包含所述胶水算子在内的计算图中的目标算子的目标拆分路径对插入的每个胶水算子进行选择，在满足所述目标拆分路径中包含的同一胶水算子的输入张量数据的拆分状态和输出张量数据的拆分状态相同的情况下，将插入的对应胶水算子删除。

6.根据权利要求4所述的方法，其特征在于，所述胶水算子用于将所述拆分状态集合中的拆分状态进行拼接。

7.根据权利要求4所述的方法，其特征在于，所述胶水算子用于将所述拆分状态集合中的拆分状态进行拆分。

8.根据权利要求4所述的方法，其特征在于，所述胶水算子用于将所述拆分状态集合中的拆分状态进行拼接，再对经过拼接处理后的拆分状态集合中的拆分状态进行拆分。