[发明专利]管理推理过程的方法、电子设备和计算机程序产品

说明书

本公开的实施方式涉及管理推理过程的方法、电子设备和计算机程序产品。在此，推理过程基于机器学习模型来实现。在一种方法中，基于定义机器学习模型的计算图，确定用于实现推理过程的一组函数之间的依赖关系。在位于边缘计算网络中的至少一个边缘设备中，获取可用于执行推理过程的一组计算单元。从一组计算单元中选择用于执行一组函数的至少一个计算单元。使得至少一个计算单元基于依赖关系来执行一组函数。利用本公开的示例性实现方式，充分利用边缘计算网络中的多种计算单元实现推理过程，从而简化推理过程的管理并且提高推理过程的效率。

技术领域

本公开的实施方式总体上涉及机器学习领域，具体地涉及基于机器学习模型来管理推理过程的方法、电子设备和计算机程序产品。

背景技术

近年来，随着人工智能技术的进步，机器学习技术已经推动了许多领域的发展。与此同时，机器学习模型也变得越来越复杂，这导致在训练机器学习模型以及后期使用机器学习模型进行推理过程涉及多种类型的大量计算资源。目前已经提出了使用云环境中的专用计算资源来训练机器学习模型以及使用训练好的机器学习模型进行推理的技术方案。随着硬件技术和边缘计算技术的发展，各种边缘设备已经具备了计算和存储能力。此时，如何利用这些边缘设备的资源来执行推理过程，成为一个研究热点。

发明内容

本公开的实施方式提供了管理推理过程的方法、电子设备和计算机程序产品。

在本公开的第一方面中，提供了一种用于管理推理过程的方法，该推理过程是基于机器学习模型来实现的。在该方法中，基于定义机器学习模型的计算图，确定用于实现推理过程的一组函数之间的依赖关系。在位于边缘计算网络中的至少一个边缘设备中，获取可用于执行推理过程的一组计算单元。从一组计算单元中选择用于执行一组函数的至少一个计算单元。使得至少一个计算单元基于依赖关系来执行一组函数。

在本公开的第二方面中，提供了一种电子设备。该设备包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，以使得所述电子设备执行根据本公开的第一方面的方法。

在本公开的第三方面中，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令用于执行根据本公开的第一方面的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的实施方式的关键特征或必要特征，也无意限制本公开的实施方式的范围。

附图说明

通过结合附图对本公开的示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开的示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的实施方式的设备和/或方法可以在其中被实施的示例环境的示意图；

图2示出了根据本公开的实施方式的推理过程调度器架构的框图；

图3示出了根据本公开的实施方式的用于管理推理过程的方法的流程图；

图4示出了根据本公开的实施方式的推理过程所涉及的主应用程序和多个组件之间的交互的框图；以及

图5示出了可以用来实施本公开的实施方式的示例设备的框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以按照各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。