[发明专利]一种数据处理方法和数据处理设备

权利要求书

1.一种数据处理方法，其特征在于，应用于分布式集群中的数据处理设备，所述方法包括：

获取深度神经网络模型，以及所述深度神经网络模型中每个算子的输入张量的张量排布和所述每个算子的输出张量的张量排布，所述张量排布包括设备矩阵、张量映射和张量形状，所述深度神经网络模型中包括第一算子和第二算子，所述第一算子和所述第二算子为所述深度神经网络模型中的两个连续算子，且所述第一算子的输出张量为所述第二算子的输入张量，第一张量排布与第二张量排布不一致，其中，所述第一张量排布为所述第一算子的输出张量的张量排布，所述第二张量排布为所述第二算子的输入张量的张量排布，所述设备矩阵为指示所述分布式集群中多个数据处理设备的设备排布方式的一维数组，所述一维数组的元素个数指示设备排列的维度，所述一维数组的元素的乘积指示所述多个数据处理设备的数量，所述设备矩阵与所述分布式集群中多个数据处理设备的数量和连接关系有关，所述张量形状指示张量各维度元素个数，所述张量映射指示张量各维度切分在设备矩阵上的映射；

根据所述每个算子的输入张量的张量排布和所述每个算子的输出张量的张量排布，确定所述数据处理设备的切片计算图；

确定所述第一算子和所述第二算子之间的重排布算子，所述重排布算子用于将所述第一张量排布转换为所述第二张量排布；

在所述切片计算图中插入所述重排布算子，以确定更新后的切片计算图，所述更新后的切片计算图用于指示执行所述深度神经网络模型的部分；

根据所述更新后的切片计算图执行所述深度神经网络模型的部分。

2.根据权利要求1所述的方法，其特征在于，

所述第一张量排布的设备矩阵与所述第二张量排布的设备矩阵不一致，和/或，所述第一张量排布的张量映射与所述第二张量排布的张量映射不一致；

所述确定所述第一算子和所述第二算子之间的重排布算子包括：

根据所述第一张量排布和所述第二张量排布，确定中间张量排布；

根据所述第一张量排布和所述中间张量排布确定第一重塑算子，以及所述第一重塑算子的输入张量的张量排布和所述第一重塑算子的输出张量的张量排布，所述第一重塑算子用于实现所述第一张量排布至所述中间张量排布的转换；和/或，

根据所述第二张量排布和所述中间张量排布确定第二重塑算子，以及所述第二重塑算子的输入张量的张量排布和所述第二重塑算子的输出张量的张量排布，所述第二重塑算子位于所述第一重塑算子和所述第二算子之间，所述第二重塑算子用于实现所述中间张量排布到所述第二张量排布的转换。

3.根据权利要求2所述的方法，其特征在于，

所述第一张量排布的设备矩阵与所述第二张量排布的设备矩阵不一致；

所述根据所述第一张量排布和所述第二张量排布，确定中间张量排布包括：

根据所述第一张量排布的设备矩阵与所述第二张量排布的设备矩阵，确定拓展设备矩阵，所述拓展设备矩阵的元素之积与所述第一算子的输出张量的设备矩阵的元素之积相同，与所述第二算子的输入张量的第二设备矩阵的元素之积相同，所述第一张量排布的设备矩阵和所述第二张量排布的设备矩阵中任一元素，等于所述拓展设备矩阵中的一个元素或者所述拓展设备矩阵的至少两个元素的乘积；

根据所述拓展设备矩阵，确定与所述第一张量排布等价的第一等价张量排布，以及与所述第二张量排布等价的第二等价张量排布，所述第一等价张量排布的设备矩阵与所述第二等价张量排布的设备矩阵一致；

当所述第一等价张量排布的张量形状与所述第二等价张量排布的张量形状一致时，所述中间张量排布包括所述第一等价张量排布和所述第二等价张量排布，所述张量形状为张量每个维度的元素数量。

4.根据权利要求3所述的方法，其特征在于，所述第一等价张量排布的张量形状与所述第二等价张量排布的张量形状一致，且所述第一等价张量排布的张量映射与所述第二等价张量排布的张量映射不一致；

所述方法还包括：

确定一个或多个张量映射转换算子，所述张量映射转换算子包括切分算子、合并算子或通信算子，所述一个或多个张量映射转换算子输入张量的张量排布与所述第一等价张量排布一致，所述一个或多个张量映射转换算子输出张量的张量排布与所述第二等价张量排布一致，所述一个或多个张量映射转换算子用于确定所述更新后的切片计算图。