[发明专利]通过异构资源执行人工神经网络来执行任务的系统和方法

权利要求书

1.一种通过多个异构资源执行人工神经网络来执行任务的系统，所述系统包括：

模型分析器，接收人工神经网络模型，并输出基于包括至少一个子图的人工神经网络模型生成的子图信息；

检测器，输出关于所述多个异构资源的感知信息；以及

任务管理器，基于子图信息和感知信息将用于针对每个层执行任务的第一请求信号输出到所述多个异构资源中的第一资源，以及将用于针对每个深度方向执行任务的第二请求信号输出到所述多个异构资源中的第二资源。

2.如权利要求1所述的系统，其中，任务管理器还响应于子图信息，对包括在子图中的多个任务进行划分，并输出第一请求信号和第二请求信号中的至少一个以通过所述多个异构资源处理划分的任务。

3.如权利要求2所述的系统，其中，任务管理器的划分包括针对每个层划分所述多个任务作为第一任务和针对每个深度方向划分所述多个任务作为第二任务中的至少一个。

4.如权利要求3所述的系统，其中，任务管理器还将第二任务合并为第一任务或将第一任务合并为第二任务。

5.如权利要求2所述的系统，其中，感知信息包括关于由所述多个异构资源中的每个可处理的任务的信息和关于由所述多个异构资源中的每个正在执行的任务的信息中的至少一个。

6.如权利要求2所述的系统，其中，任务管理器基于接收的输入数据的数量，重复地提供第二请求信号。

7.如权利要求6所述的系统，其中，接收的输入数据的数量包括与通过视觉识别而识别的感兴趣区域对应的对象的数量。

8.如权利要求2所述的系统，其中，当基于感知信息所述多个异构资源中至少一个不能够执行划分的任务时，任务管理器再次对所述多个任务进行划分。

9.如权利要求2所述的系统，其中，任务管理器基于感知信息，提供第一请求信号和第二请求信号中的至少一个，以在与在第一任务的下一阶段的第二任务相同的资源处理第一任务。

10.如权利要求1所述的系统，还包括：编译器，响应于从任务管理器接收到第一请求信号和第二请求信号中的至少一个，允许所述多个异构资源处理任务。

11.如权利要求10所述的系统，其中：

编译器包括第一子编译器和第二子编译器；

第一子编译器响应于接收到第一请求信号对任务进行编译以能够在第一资源中被处理；以及

第二子编译器响应于接收到第二请求信号对任务进行编译以能够在第二资源中被处理。

12.如权利要求1所述的系统，其中：

第一资源和第二资源中的每个使用包括形成深度方向的多个层的人工神经网络来执行操作，

第一资源使用从第一层输出的值作为第二层的输入值来执行操作；以及

第二资源使用第一深度方向的输出值作为第二深度方向的输入值来执行操作。

13.如权利要求1所述的系统，其中：

第一资源是支持一次输入多个输入的批处理模式的资源，

第二资源是不支持批处理模式的资源，以及

第二资源基于人工神经网络模型处理操作。

14.一种通过多个异构资源执行人工神经网络来执行任务的方法，所述方法包括：

接收人工神经网络模型，并输出基于人工神经网络模型生成的子图信息；

输出关于所述多个异构资源的感知信息；

基于子图信息执行包括在子图信息中的多个任务的划分操作；以及

基于感知信息输出用于在所述多个异构资源中的一个或多个处理被执行了划分操作的所述多个任务的请求信号。