[发明专利]多核机器学习处理器的编制

权利要求书

1.一种方法，包括：

接收运行第一机器学习模型即第一ML模型的指示；

接收用于组织所述第一ML模型相对于第二ML模型的运行的同步信息；

基于所述同步信息确定运行所述第一ML模型的时间；以及

在所述时间运行所述第一ML模型。

2.根据权利要求1所述的方法，其中所述同步信息包括所述第一ML模型和内核的时序信息和相关联的指示。

3.根据权利要求1所述的方法，其中在所述时间运行所述第一ML模型包括在开始运行所述ML模型之前插入延迟。

4.根据权利要求3所述的方法，其中所述延迟基于回调函数或并行线程。

5.根据权利要求1所述的方法，其中确定运行所述第一ML模型的所述时间包括确定是否在所述ML模型的层之间插入延迟。

6.根据权利要求1所述的方法，其中确定运行所述ML模型的所述时间包括确定运行所述ML模型的预期时间与当前时间之间的差异；并且其中所述方法包括基于所述差异开始运行所述ML模型。

7.根据权利要求6所述的方法，还包括基于所述差异调整运行所述ML模型的下一个预期时间。

8.根据权利要求6所述的方法，其中确定运行所述第一ML模型的所述时间还包括基于所述差异移除运行所述ML模型的所述延迟。

9.一种非暂态程序存储设备，其包括存储在其上的指令，所述指令使得一个或多个处理器进行以下操作：

接收一组ML模型；

模拟在目标硬件上运行所述一组ML模型以确定运行所述一组ML模型中的ML模型所使用的资源以及时序信息；

基于所述模拟确定延迟运行所述一组ML模型的子集；以及

基于所述确定生成同步信息。

10.根据权利要求9所述的非暂态程序存储设备，其中所述目标硬件包括用于执行ML模型的至少两个内核，并且其中所述同步信息包括用于跨所述至少两个内核协调所述ML模型的执行的时序信息。

11.根据权利要求10所述的非暂态程序存储设备，其中所述同步信息包括ML模型、所述ML模型和所述目标硬件的内核的时序信息和相关联的指示。

12.根据权利要求10所述的非暂态程序存储设备，其中所述同步信息被组织在查找表中。

13.根据权利要求9所述的非暂态程序存储设备，其中延迟运行所述ML模型包括在开始运行所述ML模型之前插入延迟。

14.根据权利要求9所述的非暂态程序存储设备，其中延迟运行所述ML模型包括在所述ML模型的层之间插入延迟。

15.根据权利要求9所述的非暂态程序存储设备，其中基于一个或多个成本函数来确定延迟运行一个或多个ML模型。

16.根据权利要求15所述的非暂态程序存储设备，其中所述一个或多个成本函数中的成本函数基于存储器带宽、消耗的功率量和可用存储器的大小中的至少一个。

17.根据权利要求15所述的非暂态程序存储设备，其中所述一个或多个成本函数中的成本函数基于添加到所述ML模型的延迟量。

18.根据权利要求9所述的非暂态程序存储设备，其中模拟在所述目标硬件上运行所述一组ML模型包括至少确定在所述目标硬件上执行所述一组ML模型时使用的存储器带宽量、功率和存储器大小。