[发明专利]分批处理机器学习模型的输入

权利要求书

1.一种方法，所述方法包括：

接收请求流，每个请求识别相应的输入张量以供由多个机器学习模型中的机器学习模型处理，其中每个所识别的输入张量包括相应的输入值并且具有维度数目；

将来自每个请求的所述相应的输入张量添加到输入张量的队列以供由所述机器学习模型处理，其中所述多个机器学习模型中的每个机器学习模型被配置为接收固定大小的输入张量，所述固定大小的输入张量是具有所述维度数目的固定数目的张量的组合；

在第一时间确定到所述第一时间时为止供由所述机器学习模型处理的所述输入张量的队列中的输入张量的计数至少等于所述张量的固定数目，并且作为响应：

从到所述第一时间时为止所述队列中的所述输入张量生成第一成批输入张量，包括将输入张量添加到所述第一成批输入张量直到所述第一成批输入张量包括等于所述张量的固定数目的数目的输入张量，并且

向被配置为执行所述机器学习模型的计算设备提供所述第一成批输入张量以供由所述机器学习模型处理；以及

在第二时间确定(i)到所述第二时间时为止所述队列中的输入张量的计数小于所述张量的固定数目，并且(ii)所述队列中的最旧输入张量比用于所述机器学习模型的相应的等待时间参数旧，并且作为响应：

从到所述第二时间时为止所述队列中的所述输入张量生成第二成批输入张量，包括将所述队列中的每个输入张量添加到所述第二成批输入张量，并且将具有所述维度数目的占位符张量添加到所述第二成批输入张量，直到所述第二成批输入张量包括等于所述张量的固定数目的数目的张量，并且

向被配置为执行所述机器学习模型的所述计算设备提供所述第二成批输入张量以供由所述机器学习模型处理。

2.根据权利要求1所述的方法，其中，每个占位符输入是在所述队列中的相应的输入张量的副本。

3.根据权利要求1所述的方法，还包括：

接收由所述机器学习模型为所述第二成批输入张量而生成的第二机器学习输出；

对于所述第二成批输入张量中的具有所述维度数目的每个输入张量，确定与所述输入张量对应的所述第二机器学习输出的相应的部分；

对于所述第二成批输入张量中的每个占位符张量，丢弃所述第二机器学习输出的与该占位符张量对应的相应的部分；以及

提供所述第二机器学习输出的与所述第二成批输入张量中的不是占位符张量的每个输入张量对应的相应的部分。

4.根据权利要求1所述的方法，

其中，由所述机器学习模型的处理由计算图系统来管理，所述计算图系统将所述机器学习模型在给定成批输入张量的处理期间的操作表示为计算图，

其中，所述计算图包括多个节点和有向边，

其中，每个节点表示相应的操作，并且

其中，每个有向边将相应的第一节点连接到相应的第二节点，所述相应的第二节点表示接收由所述相应的第一节点表示的操作的输出张量作为输入张量的操作。

5.根据权利要求4所述的方法，其中，所述计算图系统通过在多个计算设备之中指派由所述计算图中的所述节点表示的所述机器学习模型的所述操作来处理成批输入张量。

6.根据权利要求4所述的方法，其中，提供所述第一成批输入张量以供由所述机器学习模型处理包括将所述第一成批输入张量提供给所述计算图系统，并且其中，提供所述第二成批输入张量以供由所述机器学习模型处理包括将所述第二成批输入张量提供给所述计算图系统。

7.根据权利要求1所述的方法，还包括：

从所述机器学习模型接收第一成批输出张量，其中所述第一成批输出张量包括与每个输入张量的相应的输入值对应的相应的输出值；以及

从所述第一成批输出张量生成多个输出张量，每个输出张量包括与相应的所识别的输入张量对应的相应的输出值。

8.根据权利要求1所述的方法，还包括：

在多个计算设备中的相应的设备上处理所述多个机器学习模型中的每个机器学习模型；以及

基于相应的计算设备处理所述模型以处理输入张量的可用性来将所述输入张量添加到机器学习模型的队列。