[发明专利]构建和处理用于动态结构化机器学习模型的计算图

说明书

公开了用于构造和处理表示动态结构化机器学习模型的计算图的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。示例系统接收识别能够对输入数据执行的多个操作的数据，以用于由动态结构化机器学习模型进行处理。该系统还接收与用于多个操作的自变量相对应的多个标签。有向计算图表示动态结构化机器学习模型的综合层。然后，该系统接收用于处理的输入，并且指定通过有向计算图的数据流。通过根据各个实现方式来构建单个计算图，机器学习系统能够接受并且有效地处理具有不同特征的输入数据。具体地，系统能够在不需要为每个输入重写计算图的情况下处理各种形状的输入。

技术领域

本说明书涉及一种构建和处理表示动态结构化机器学习模型的计算图。

背景技术

机器学习模型接收输入并基于所接收的输入和模型参数的值生成输出。由一些机器学习模型执行的操作能够是依赖于输入的，因此，机器学习模型根据它们的输入被动态地构造。

发明内容

本说明书通常描述了与机器学习系统有关的技术，并且具体地描述了用于构造表示依赖于输入的机器学习模型架构的单个计算图并且使用计算图调度要处理的输入的系统和方法。通过根据各个实施方式来构建单个计算图，机器学习系统能够接受并有效地处理具有不同特征的输入数据。特别地，在各个实施方式中，系统能够在不需要为每个输入重写计算图的情况下处理各种形状的输入。

通常，本说明书中描述的主题的一个创新方面能够以以下操作的方法被实施，该方法包括下述活动：接收识别能够对输入数据执行的多个操作的数据，以用于由动态结构化机器学习模型处理；接收与用于所述多个操作的自变量相对应的多个标签；从所识别的操作和标签生成表示所述动态结构化机器学习模型的综合层的有向计算图，其中，所述综合层是包括能够由所述动态结构化机器学习模型执行的每个可能操作的层；接收用于由所述动态结构化机器学习模型处理的输入，其中，所述输入包括多个令牌和指定用于所述多个令牌的标签的标签数据；以及指定通过所述有向计算图的数据流以适合所接收的标签数据。该方法可以包括使用动态结构化机器学习模型处理输入数据。在一些实施方式中，动态结构化机器学习模型被配置成用于自然语言处理。示例系统包括一个或多个计算机和存储指令的一个或多个存储设备，该指令在由一个或多个计算机执行时使得一个或多个计算机执行示例方法。

该方面的其他实施例包括相对应的计算机系统、装置以及在一个或多个计算机存储设备上记录的计算机程序，分别被配置为执行这些方法的动作。对于要被配置为执行特定操作或动作的一个或多个计算机的系统意味着该系统已经在其上安装了软件、固件、硬件或它们的组合，其在操作中使系统执行操作或动作。对于被配置为执行特定操作或动作的一个或多个计算机程序，意味着一个或多个程序包括当由数据处理装置执行时，使装置执行操作或动作的指令。