[发明专利]多任务多模态机器学习系统

权利要求书

1.一种系统，所述系统包括一个或多个计算机以及存储指令的一个或多个存储设备，所述指令在被所述一个或多个计算机执行时使得所述一个或多个计算机实现：

机器学习模型，所述机器学习模型包括：

多个输入模态神经网络，其中，每个输入模态神经网络对应于多个模态中的不同模态并且被配置成将接收的所对应的模态的数据输入映射到来自可变大小的统一表示空间的映射数据输入，其中多个不同模态的数据输入被映射到相同的可变大小的统一表示空间，并且其中所接收的不同模态的数据输入具有不同的大小和维度，并且其中来自所述可变大小的统一表示空间的针对不同模态的所接收的数据输入的所述映射数据输入在大小上是变化的；

编码器神经网络，所述编码器神经网络被配置成处理来自所述统一表示空间的映射数据输入以生成相应的编码器数据输出；

解码器神经网络，所述解码器神经网络被配置成处理编码器数据输出以从所述统一表示空间生成相应的解码器数据输出；以及

多个输出模态神经网络，其中，每个输出模态神经网络对应于不同模态并且被配置成将对应于接收的所对应的模态的数据输入的来自所述统一表示空间的解码器数据输出映射到所对应的模态的数据输出。

2.根据权利要求1所述的系统，其中，所述多个模态包括：(i)图像识别；(ii)语音识别；(iii)翻译；(iv)图像标注或(v)解析中的一个或多个。

3.根据权利要求1所述的系统，其中，所述多个输入模态神经网络包括对应于不同模态的神经网络，并且其中，所述多个输出模态神经网络包括对应于不同模态的神经网络。

4.根据权利要求3所述的系统，其中，所述多个输入模态神经网络和所述多个输出模态神经网络的模态包括：(i)语言模态网络；(ii)图像模态网络；(iii)音频模态网络；以及(iv)分类数据模态网络。

5.根据权利要求1所述的系统，其中，所述多个输入模态神经网络包括语言输入模态网络，所述语言输入模态网络被配置成：

从令牌词汇表接收令牌序列作为输入，其中，所接收的令牌序列结束于终止令牌；并且

将所述令牌序列映射到预定维度，所述预定维度取决于所述编码器和解码器神经网络的维度。

6.根据权利要求5所述的系统，其中，语言输出模态网络被配置成：

接收来自所述解码器神经网络的解码器输出作为输入；

执行学习的线性映射，然后执行softmax激活函数，以生成所述令牌词汇表上的概率分布。

7.根据权利要求4所述的系统，其中，图像输入模态网络被配置成使用一个或多个残差卷积层来加深接收的输入图像特征深度。

8.根据权利要求4所述的系统，其中，分类数据输出模态网络被配置成将一维解码器神经网络输出重构为二维输出并且对所述二维输出执行渐进式下采样。

9.根据权利要求1至8中的任一项所述的系统，其中，所述解码器神经网络是自回归解码器神经网络。

10.根据权利要求1至9中的任一项所述的系统，其中，所述编码器神经网络和解码器神经网络包括来自多个机器学习域的神经网络组件，所述神经网络组件包括：(i)一个或多个卷积神经网络层；(ii)一个或多个注意力神经网络层，所述一个或多个注意力神经网络层被配置成执行相应的注意力机制；以及(iii)一个或多个稀疏门控神经网络层。

11.根据权利要求10所述的系统，其中，每个卷积神经网络层被配置成接收形状[批尺寸，序列长度，1，特征通道]的张量作为输入并且返回相同形状的张量。

12.根据权利要求10所述的系统，其中，每个卷积神经网络层包括校正的线性单元非线性和层归一化。