[发明专利]机器学习任务的隐式桥接

权利要求书

1.一种包括一个或多个计算机和存储指令的一个或多个存储设备的系统，所述指令可操作为在由所述一个或多个计算机执行时使所述一个或多个计算机执行操作，包括：

接收(i)模型输入以及(ii)识别要对所述模型输入执行以针对所述模型输入生成第一类型的模型输出的第一机器学习任务的数据；

用所述第一机器学习任务的标识符扩增所述模型输入以生成扩增模型输入；以及

使用机器学习模型来处理所述扩增模型输入，其中，所述机器学习模型已在训练数据上被训练以执行包括所述第一机器学习任务的多个机器学习任务，并且其中，所述机器学习模型已通过训练被配置成处理所述扩增模型输入以针对所述模型输入生成所述第一类型的机器学习模型输出。

2.根据权利要求1所述的系统，其中，所述机器学习模型包括(i)被配置成接收扩增模型输入的编码器子系统以及(ii)被配置成生成模型输出的解码器子系统。

3.根据权利要求2所述的系统，其中，所述编码器子系统和解码器子系统包括相应的递归神经网络。

4.根据权利要求2或权利要求3所述的系统，其中，所述解码器子系统包括注意机制。

5.根据前述权利要求中的任一项所述的系统，其中，所述扩增模型输入包括具有针对所述机器学习任务的前置令牌标识符的模型输入。

6.根据前述权利要求中的任一项所述的系统，其中，所述多个机器学习任务包括将输入文本分段翻译成目标语言的文本分段。

7.一种用于在训练数据上训练机器学习模型的方法，

其中，所述机器学习模型被配置成

接收扩增模型输入，所述扩增模型输入包括具有针对要对模型输入执行的机器学习任务的标识符的所述模型输入，并且

对所接收到的扩增模型输入执行所述机器学习任务以针对所述模型输入生成相应类型的模型输出，以及

其中，所述方法包括：

获得包括多个配对数据集的训练数据，其中，所述配对数据集中的每一个包括(i)输入数据集和(ii)输出数据集；以及

在所述训练数据上训练所述机器学习模型以执行多个机器学习任务，其中，所述多个机器学习任务包括要对所述模型输入执行的所述机器学习任务。

8.根据权利要求7所述的方法，其中，所述扩增模型输入包括具有针对所述机器学习任务的前置令牌标识符的模型输入。

9.根据权利要求7或权利要求8所述的方法，其中，所述模型输入包括第一输入类型的模型输入，并且所述模型输出包括第一输出类型的模型输出，以及

其中，所述多个配对数据集不包括与所述第一输出类型的输出数据集配对的所述第一输入类型的输入数据集。

10.根据权利要求7至9中的任一项所述的方法，其中，所述多个配对数据集中的数据集包括不同语言的文本分段。

11.根据权利要求10所述的方法，进一步包括生成所述训练数据，包括：

以所述不同语言中的每一种生成固定大小V的词汇表；以及

通过在每个生成的词汇表中顺序地选择出现最高的词来合并所生成的词汇表以生成新的词汇表，直到所述新的词汇表的大小达到V为止。

12.根据权利要求10或11所述的方法，其中，每个配对数据集包括输入语言的输入文本分段，所述输入语言的输入文本分段与不同于所述输入语言的目标语言的文本分段配对。

13.根据权利要求12所述的方法，其中，所述多个机器学习任务包括：对于每个配对数据集，将输入文本分段翻译成所述目标语言的文本分段。

14.根据权利要求12或权利要求13所述的方法，其中，所述扩增模型输入包括具有指示至少所述目标语言的前置令牌的模型输入。