[发明专利]推断处理系统、推断处理装置以及计算机程序产品

权利要求书

1.一种推断处理系统，该推断处理系统包括多个推断处理装置，该推断处理系统执行推断处理，以使得在后的推断处理装置对由在前的推断处理装置执行的推断处理的结果执行推断处理，该推断处理系统包括：

推断结果存储装置，在该推断结果存储装置中存储推断处理装置的推断处理的结果；

处理延迟检测器，该处理延迟检测器被配置为检测在推断处理装置的推断处理中的延迟的发生；

选择器，该选择器被配置为选择推断处理装置中的一个推断处理装置，所述一个推断处理装置能够执行与具有延迟的推断处理装置的推断处理相同的推断处理；以及

输入输出控制器，该输入输出控制器被配置为：

向由所述选择器所选择的推断处理装置输入在所述具有延迟的推断处理装置之前的推断处理装置的推断处理的结果，并且

使所选择的推断处理装置将推断处理的结果输出到在所述具有延迟的推断处理装置之后的推断处理装置。

2.根据权利要求1所述的推断处理系统，该推断处理系统还包括：

管理控制器，该管理控制器被配置为控制多个推断处理装置，其中，

所述管理控制器包括所述推断结果存储装置，并且

在所述推断结果存储装置中存储除了至少最后阶段的推断处理装置以外的推断处理装置的推断处理的结果。

3.根据权利要求1所述的推断处理系统，其中，

所述多个推断处理装置各自包括所述推断结果存储装置，在所述推断结果存储装置中存储相应的推断处理装置的推断结果。

4.根据权利要求1至3中的任一项所述的推断处理系统，其中，

所述选择器选择在检测到延迟时未被分配推断处理的空闲推断处理装置。

5.根据权利要求1至3中的任一项所述的推断处理系统，其中，

所述选择器选择能够被额外分配与检测到延迟的推断处理装置的推断处理相同的推断处理的推断处理装置。

6.根据权利要求1至3中的任一项所述的推断处理系统，其中，

所述选择器选择已被分配有与检测到延迟的推断处理装置的推断处理相同的推断处理并且被估计为不具有延迟的推断处理装置。

7.根据权利要求1至6中的任一项所述的推断处理系统，其中，

所述推断处理系统对输入的图像执行一系列推断处理，并且

在所述推断结果存储装置中存储进行所述一系列推断处理的所述图像，并且所述推断结果存储装置将用于标识所述图像的信息添加到推断处理装置的推断处理的结果中以进行存储。

8.一种用于在包括多个推断处理装置以执行流水线推断处理的推断处理系统中使用的推断处理装置，该推断处理装置包括：

推断处理器，该推断处理器被配置为对输入的数据执行推断处理；以及

推断结果存储装置，在该推断结果存储装置中存储所述推断处理器的所述推断处理的结果。

9.一种计算机程序产品，该计算机程序产品包括被具体实现并存储在非暂时性计算机可读介质中的被编程的指令，该计算机程序产品用于通过计算机控制包括推断处理装置的流水线推断处理系统，所述推断处理系统执行推断处理以使得在后的推断处理装置对由在前的推断处理装置执行的推断处理的结果执行推断处理，其中，当所述指令由所述计算机执行时，所述指令使所述计算机执行以下操作：

存储推断处理装置的推断处理的结果；

检测在推断处理装置的推断处理中的延迟的发生；

选择推断处理装置中的一个推断处理装置，该一个推断处理装置能够执行与具有延迟的推断处理装置的推断处理相同的推断处理；以及

将在所述具有延迟的推断处理装置之前的推断处理装置的推断处理的结果输入到所选择的推断处理装置，并且

使所选择的推断处理装置将推断处理的结果输出到在所述具有延迟的推断理处理装置之后的推断处理装置。