[发明专利]用于分布式系统推理的深度学习模型的划分和位宽分配的方法和系统

权利要求书

1.一种用于将训练后的神经网络划分成用于在第一设备上执行的第一神经网络和用于在第二设备上执行的第二神经网络的方法，其特征在于，所述方法包括：

从所述训练后的神经网络中识别用于包括在所述第一神经网络中的一个或多个神经网络层的第一集合，以及从所述训练后的神经网络中识别用于包括在所述第二神经网络中的一个或多个神经网络层的第二集合；

为配置一个或多个神经网络层的所述第一集合的权重分配权重位宽，为由一个或多个神经网络层的所述第一集合生成的特征图分配特征图位宽；

执行所述识别和所述分配，以在精度约束内优化以下操作的总体延迟：在所述第一设备上执行所述第一神经网络以基于输入数据生成特征图输出，将所述特征图输出从所述第一设备发送到所述第二设备，以及在所述第二设备上执行所述第二神经网络以基于所述第一设备的所述特征图输出生成推理输出。

2.根据权利要求1所述的方法，其特征在于，所述识别和所述分配包括：

从用于将所述训练后的神经网络划分成一个或多个神经网络层的所述第一集合和一个或多个神经网络层的所述第二集合的多个潜在划分方案中选择处于所述精度约束内的一个或多个可行方案的集合，其中，每个可行方案识别：(i)划分点，所述划分点指示所述训练后的神经网络中的包括在一个或多个层的所述第一集合中的所述层；(ii)配置一个或多个神经网络层的所述第一集合的所述权重的权重位宽集合；(iii)由一个或多个神经网络层的所述第一集合生成的所述特征图的特征图位宽集合。

3.根据权利要求2所述的方法，其特征在于，包括从一个或多个可行方案的所述集合中选择实现方案；根据所述实现方案，生成定义所述第一神经网络的第一神经网络配置信息和定义所述第二神经网络的第二神经网络配置信息；将所述第一神经网络配置信息提供给所述第一设备，并将所述第一第二神经网络配置信息提供给所述第二设备。

4.根据权利要求2或3所述的方法，其特征在于，所述选择还基于所述第一设备的内存约束。

5.根据权利要求4所述的方法，其特征在于，包括：在所述选择一个或多个可行方案的所述集合之前，确定所述多个潜在划分方案是基于识别与不同可能划分点相关联的传输成本，所述传输成本低于与将所述训练后的神经网络的所有层包括在所述第二神经网络中相关联的传输成本。

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述选择包括：

针对所述多个潜在方案中的每个潜在方案的不同权重位宽和特征图位宽，计算所述第一神经网络和所述第二神经网络的组合性能的量化误差，其中，所述选择一个或多个可行方案的所述集合是基于选择会使计算得到的量化误差处于所述精度约束内的权重位宽和特征图位宽。

7.根据权利要求6所述的方法，其特征在于，所述多个潜在方案中的每个潜在方案的所述不同权重位宽和特征图位宽是分别从可能的权重位宽和特征图位宽的集合中统一选择的。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述精度约束包括针对所述第一神经网络和所述第二神经网络的组合性能相对于所述训练后的神经网络的性能的定义的精度下降容忍阈值。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述第一设备具有低于所述第二设备的内存容量。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述第一设备是边缘设备，所述第二设备是基于云的计算平台。

11.根据权利要求1至10中任一项所述的方法，其特征在于，所述训练后的神经网络是表示为有向无环图的经过优化的训练后的神经网络。

12.根据权利要求1至11中任一项所述的方法，其特征在于，所述第一神经网络是混合精度网络，包括至少一些层，所述至少一些层具有与其它层不同的权重位宽和特征图位宽。