[发明专利]用于预测轮询时间的神经网络系统和神经网络模型处理方法

权利要求书

1.一种用于处理第一计算处理图的神经网络系统，所述神经网络系统包括：

第一资源，用于生成通过执行与所述第一计算处理图相对应的至少一个计算操作而获得的第一计算结果；以及

任务管理器，用于计算所述第一资源执行所述至少一个计算操作所花费的第一轮询时间，并基于所计算的第一轮询时间从所述第一资源轮询所述第一计算结果。

2.根据权利要求1所述的神经网络系统，其中，

所述第一计算处理图包括要由所述第一资源驱动的第一子图，

所述神经网络系统还包括：第一编译器，用于通过编译要由所述第一资源驱动的所述第一子图来生成第一执行数据，以及

任务管理器用于将所述第一执行数据输出给所述第一资源，以执行与所述第一子图相对应的第一计算操作，并且在从输出所述第一执行数据的时间开始经过所述第一轮询时间之后，从所述第一资源轮询所述第一计算结果。

3.根据权利要求2所述的神经网络系统，其中，所述第一计算处理图还包括第二子图，所述神经网络系统还包括：

第二资源，用于生成通过基于所述第一计算结果和第二执行数据执行与所述第二子图相对应的第二计算操作而获得的第二计算结果；以及

第二编译器，用于通过编译要由所述第二资源驱动的所述第一子图来生成所述第二执行数据，以及

所述任务管理器还用于计算所述第二资源执行所述第二计算操作的第二轮询时间，并在从将所述第一执行数据输出给所述第一资源的时间开始经过所述第一轮询时间和所述第二轮询时间之后，从所述第二资源轮询所述第二计算结果。

4.根据权利要求3所述的神经网络系统，还包括模型分析器，所述模型分析器用于接收第一输入模型，对所述第一输入模型进行分析以生成第一计算处理图，并且将所述第一计算处理图划分为包括所述第一子图和所述第二子图的多个子图。

5.根据权利要求4所述的神经网络系统，其中，所述模型分析器包括：

模型解析器，用于接收所述第一输入模型，并从所述第一输入模型中提取包括关于所述输入模型的大小信息的模型信息；

模型构建器，用于基于所述模型信息对所述第一输入模型进行分析，以生成所述第一计算处理图；以及

模型优化器，用于对所述第一计算处理图执行优化操作。

6.根据权利要求4所述的神经网络系统，其中，

所述模型分析器用于接收第二输入模型，并对所述第二输入模型进行分析以生成包括第三子图的第二计算处理图，

所述第一资源被配置为还生成通过执行与所述第三子图相对应的第三计算操作而获得的第三计算结果，以及

所述任务管理器被配置为计算所述第一资源执行所述第三计算操作的第三轮询时间，并基于所计算的第三轮询时间来从所述第一资源轮询所述第三计算结果。

7.根据权利要求6所述的神经网络系统，其中，所述任务管理器用于在从所述第二资源完成所述第二计算操作的时间开始经过所述第三轮询时间之后，从所述第一资源轮询所述第三计算结果。

8.根据权利要求6所述的神经网络系统，其中，所述任务管理器用于在从所述第一资源完成所述第一计算操作的时间开始经过所述第三轮询时间之后，从所述第一资源轮询所述第三计算结果。

9.根据权利要求2所述的神经网络系统，其中，所述任务管理器用于将关于所述第一子图的信息代入到预定的等式中，以计算所述第一轮询时间。

10.根据权利要求9所述的神经网络系统，其中，关于所述第一子图的信息包括以下中的至少一项：关于与所述第一计算处理图相对应的输入模型的大小信息、关于所述第一子图的大小信息、关于所述第一执行数据的大小信息、以及所述第一编译器编译所述第一子图的编译时间。

11.根据权利要求2所述的神经网络系统，其中，所述任务管理器基于所述第一资源的计算处理能力来计算所述第一轮询时间。