[发明专利]供在非边缘装置和边缘装置上执行的模型的自动分布

权利要求书

1.一种计算机实现的方法，所述计算机实现的方法包括：

接收生成用于使用边缘装置和非边缘装置中的一个来执行机器学习(ML)模型的执行计划的请求，所述请求包括对于所述ML模型的所述执行的至少一个目标；

至少部分地基于比较性执行信息和网络延迟信息而生成对于所述ML模型的使用的执行计划；以及

结合所述边缘装置在所述非边缘装置的主机上执行所述ML模型的所述使用的至少一部分。

2.如权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括：

通过比较在非边缘装置硬件或所述边缘装置上执行所述ML模型的执行特性以生成对于所述ML模型中的每个步骤的比较性执行信息，评估所述ML模型在所述非边缘装置硬件上和所述边缘装置上的执行。

3.如权利要求1-2中任一项所述的计算机实现的方法，所述计算机实现的方法还包括：

在评估所述ML模型的执行之前，使用数据集从ML算法生成所述ML模型，其中所述请求包括所述ML算法和所述数据集的位置的识别符。

4.如权利要求1-3中任一项所述的计算机实现的方法，所述计算机实现的方法还包括：

更新所述ML模型以反映所述ML模型的、用于在所述非边缘装置的所述主机上执行的所述至少一部分。

5.如权利要求1-4中任一项所述的计算机实现的方法，其中所述ML模型在所述非边缘装置的所述主机上被执行为容器。

6.如权利要求1-4中任一项所述的计算机实现的方法，其中所述ML模型在所述非边缘装置的所述主机上被执行为虚拟机实例。

7.如权利要求1-6中任一项所述的计算机实现的方法，其中通过比较在非边缘装置硬件或所述边缘装置上执行所述ML模型的执行特性以生成对于所述ML模型中的每个步骤的比较性执行信息来评估所述ML模型在所述非边缘装置硬件上和所述边缘装置上的执行包括：模拟所述ML模型在所述非边缘装置上和所述边缘装置上的执行。

8.如权利要求7所述的计算机实现的方法，其中所述请求包括用于在由所述边缘装置模拟ML模型的执行时被使用的所述边缘装置的特性。

9.如权利要求7所述的计算机实现的方法，其中所述请求包括所述边缘装置的识别符，并且用于在由所述边缘装置模拟ML模型的执行时被使用的所述边缘装置的特性基于所述标识符从数据存储区检取。

10.如权利要求1-9中任一项所述的计算机实现的方法，所述计算机实现的方法还包括：

确定可用于运行所述ML模型的最佳非边缘装置硬件。

11.如权利要求1-10中任一项所述的计算机实现的方法，其中所述至少一个目标是以下中的一个或多个：

所述ML模型的执行吞吐量；

所述ML模型的执行期间要消耗的电力量；或者

用于由所述边缘装置利用的资源量。

12.一种系统，所述系统包括：

边缘装置，所述边缘装置用于执行机器学习(ML)模型的至少部分；以及

非边缘装置，所述非边缘装置耦合到所述边缘装置，所述非边缘装置包括：存储器，所述存储器用于存储程序代码；以及处理器，所述处理器用于执行所存储的程序代码以致使所述非边缘装置：

接收生成用于使用边缘装置和非边缘装置中的一个来执行ML模型的执行计划的请求，所述请求包括对于所述ML模型的所述执行的至少一个目标；

至少部分地基于比较性执行信息和网络延迟信息而生成对于所述ML模型的使用的执行计划；以及

结合所述边缘装置在所述非边缘装置的主机上执行所述ML模型的所述使用的至少一部分。