[发明专利]通过机器学习的直接的语音到语音翻译

权利要求书

1.一种计算系统，包括：

一个或更多个处理器；

机器学习翻译模型，配置为执行直接且无文本的翻译，该机器学习翻译模型包括：

编码器模型，配置为接收和处理一系列输入声学特征表示，以生成一系列隐藏状态表示，所述一系列输入声学特征表示代表第一语言的第一语音；

注意力模型，配置为接收和处理所述一系列隐藏状态表示，以生成一系列注意力输出；以及

解码器模型，配置为接收和处理所述一系列注意力输出，以生成一系列输出声学特征表示，该一系列输出声学特征表示代表与第一语言不同的第二语言的第二语音；以及

共同存储指令的一种或更多种非暂时性计算机可读介质，所述指令在由所述一个或更多个处理器运行时使计算系统执行操作，所述操作包括：

获得代表第一语言的第一语音的所述一系列输入声学特征表示；

将所述一系列输入声学特征表示输入到机器学习翻译模型的编码器模型中；以及

接收代表第二语言的第二语音的所述一系列输出声学特征表示作为解码器模型的输出。

2.根据任一前述权利要求所述的计算系统，其中所述操作还包括：

通过机器学习翻译模型反向传播损失函数以训练机器学习翻译模型，其中损失函数评估所述一系列输出声学特征表示中的每个与从第二语言的第二语音导出的对应的地面真值声学特征表示之间的相应差异。

3.根据权利要求2所述的计算系统，还包括：

一个或更多个辅助语音识别模型，配置为接收和处理来自编码器模型的信息，以预测与第一语言的第一语音或第二语言的第二语音相关联的文本内容的一项或更多项；

其中所述操作还包括通过编码器模型的至少一部分反向传播分别与所述一个或更多个辅助语音识别模型相关联的一个或更多个辅助损失函数，以训练编码器模型的所述至少一部分，其中每个辅助损失函数评估由对应的辅助语音识别模型输出的文本内容的所述一项或更多项与和第一语言的第一语音或第二语言的第二语音相关联的文本内容的对应的地面真值项之间的相应差异。

4.根据权利要求3所述的计算系统，其中所述一个或更多个辅助语音识别模型包括一个或更多个第一语音识别模型，所述一个或更多个第一语音识别模型配置为接收和处理来自编码器模型的信息，以预测第一语言的第一语音中包括的音素、字素、单词或n元语法中的一个或更多个的文本表示。

5.根据权利要求3或4所述的计算系统，其中所述一个或更多个辅助语音识别模型包括一个或更多个第二语音识别模型，所述一个或更多个第二语音识别模型配置为接收和处理来自编码器模型的信息，以预测第二语言的第二语音中包括的音素、字素、单词或n元语法中的一个或更多个的文本表示。

6.根据权利要求5所述的计算系统，其中：

编码器模型包括多层模型；以及

相对于由所述一个或更多个第二语音识别模型接收和处理的来自编码器模型的信息，由所述一个或更多个第一语音识别模型接收和处理的来自编码器模型的信息从编码器模型的相对更早的层中提取。

7.根据任一前述权利要求所述的计算系统，还包括：

说话者编码器模型，配置为接收和处理描述由目标说话者发出的参考语音的数据，以生成说话者嵌入；

其中所述操作还包括将说话者嵌入与所述一系列隐藏状态一起输入到注意力模型中。

8.根据权利要求7所述的计算系统，其中，在机器学习翻译模型的训练期间，目标说话者也是说第二语言的第二语音的第二说话者。

9.根据权利要求7或8所述的计算系统，其中，在由机器学习翻译模型执行的推断期间，目标说话者也是说第一语言的第一语音的第一说话者。

10.根据任一前述权利要求所述的计算系统，其中注意力模型包括多头注意力模型。

11.根据任一前述权利要求所述的计算系统，其中注意力模型包括执行加法注意力的多头注意力模型。