[发明专利]管理推理过程的方法、电子设备和计算机程序产品

权利要求书

1.一种用于管理推理过程的方法，所述推理过程基于机器学习模型来实现，所述方法包括：

基于定义所述机器学习模型的计算图，确定用于实现所述推理过程的一组函数之间的依赖关系；

在位于边缘计算网络中的至少一个边缘设备中，获取可用于执行所述推理过程的一组计算单元；

从所述一组计算单元中选择用于执行所述一组函数的至少一个计算单元；以及

使得所述至少一个计算单元基于所述依赖关系来执行所述一组函数。

2.根据权利要求1所述的方法，其中选择所述至少一个计算单元包括：

针对所述一组函数中的函数，确定所述函数的运算类型；以及

基于所述运算类型来从所述一组计算单元中选择用于执行所述函数的计算单元。

3.根据权利要求2所述的方法，其中选择所述至少一个计算单元进一步包括：

获取描述所述运算类型的函数与计算单元之间的映射的计算单元配置；以及

基于所述计算单元配置，从所述一组计算单元中选择与所述运算类型相对应的计算单元。

4.根据权利要求1所述的方法，其中选择所述至少一个计算单元包括：从所述一组计算单元中选择不同的计算单元来分别用于执行所述一组函数中的不同的函数。

5.根据权利要求1所述的方法，其中使得所述至少一个计算单元执行所述一组函数包括：

基于所述依赖关系，确定所述一组函数中的能够被并行执行的多个并行函数；

利用所述至少一个目标计算单元来并行地执行所述多个并行函数；以及

基于所述依赖关系，利用所述至少一个计算单元来串行地执行所述一组函数中的所述多个并行函数以外的其他函数。

6.根据权利要求5所述的方法，其中确定所述多个并行函数包括：

获取描述用于执行所述推理过程的并行算法配置，所述并行算法配置包括以下至少任一项：数据并行算法、模型并行算法、以及管线并行算法；以及

基于所述并行算法配置，确定所述多个并行函数。

7.根据权利要求1所述的方法，其中使得所述至少一个计算单元执行所述一组函数包括：

指定用于存储与所述推理过程相关联的待处理数据的输入队列；以及

使得所述至少一个计算单元针对所述输入队列中的所述待处理数据执行所述推理过程。

8.根据权利要求1所述的方法，其中使得所述至少一个计算单元执行所述一组函数包括：

指定用于存储由所述推理过程生成的推理结果的输出队列；以及

使得所述至少一个计算单元将所述推理过程产生的推理结果存储至所述输出队列。

9.根据权利要求1所述的方法，其中所述方法是基于在动态链接库中定义的应用编程接口来实现，以及所述方法由使用所述推理过程的主应用程序来调用。

10.根据权利要求1所述的方法，其中所述一组计算单元包括基于以下至少任一项的硬件架构：中央处理单元、图形处理单元、专用硬件加速器、现场可编程门阵列、以及片上系统。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被所述至少一个处理器执行时使得所述设备执行用于管理推理过程的动作，所述推理过程基于机器学习模型来实现，并且所述动作包括：

基于定义所述机器学习模型的计算图，确定用于实现所述推理过程的一组函数之间的依赖关系；

在位于边缘计算网络中的至少一个边缘设备中，获取可用于执行所述推理过程的一组计算单元；

从所述一组计算单元中选择用于执行所述一组函数的至少一个计算单元；以及

使得所述至少一个计算单元基于所述依赖关系来执行所述一组函数。