[发明专利]音频流的稳定实时翻译

说明书

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，其有助于生成以源语言记录的输入音频数据流的目标语言中的稳定实时文本翻译。获得以第一语言记录的音频流。可以生成在多个连续时间间隔的每个时间间隔处的音频的局部转录。每个局部转录可以被翻译成不同于第一语言的第二语言。可以将每个已翻译局部转录输入到模型，该模型确定输入的已翻译局部转录的一部分是否为稳定的。基于输入的已翻译局部转录，模型标识预测为稳定的已翻译局部转录的该部分。提供了已翻译局部转录的该稳定部分用于在用户设备上显示。

相关申请的交叉引用

本申请是国际申请并且要求2020年2月6日提交的美国申请No.62/970,892的权益。前述申请的公开内容通过引用整体结合于此。

背景技术

本说明书总体上涉及生成以源语言记录的输入音频数据流的目标语言的稳定实时文本翻译。

实时翻译系统旨在提供以源语言记录的音频流的目标语言的实时文本翻译。换而言之，实时翻译系统旨在当这类系统接收音频流时(或之后不久)生成音频流的文本翻译。一般而言，常规的实时系统在接收到流的部分之后不久，生成接收到的音频流的初始部分的文本翻译。当接收到该音频流的附加部分时，这些系统从流的开始直到附加部分的末尾为止生成音频的更新文本翻译。这个过程一直持续到翻译完整个音频流为止。图1示出了由常规的实时翻译系统生成的语句音频流的实时西班牙语翻译(“Set makers Feud overseat with with big orders at state”)的时间顺序列表的示例。应当指出，图1中示出的示例语句包含自动机器翻译导致的错误(原始语句所说的是“Jet makers feud over seatwidth with big orders at stake”)。

虽然常规的实时翻译系统当接收音频流时能够可视化音频流的文本翻译，但当接收到音频流的附加部分时，文本翻译通常会反复变化(在本说明书中称为“翻译闪烁”或简称为“闪烁”)。在图1中对此予以说明，其中前几个翻译中的第一个翻译词在确定词“Establecer”之前多次变化。语言之间的词序(例如，动词和形容词相对于名词的顺序)可能发生变化，因此可能发生这样的翻译闪烁。例如，现有的翻译算法通常在大致等效的词、短语和词序之间做出任意决定，并且这些决定可能随着持续接收到音频流而发生变化，因此也会发生这样的翻译闪烁。

发明内容

总体而言，本说明书中描述的主题的一个创新方面能够体现为方法，可以包括以下操作：获得音频数据流；确定记录该音频数据流中的音频的第一语言；生成在多个连续时间间隔中的每个时间间隔处的该音频的局部转录，其中，每个局部转录是：(1)从音频的开始直到特定时间间隔为止的音频的转录，并且(2)为第一语言；对于每个局部转录：将局部转录翻译成与第一语言不同的第二语言；将已翻译局部转录输入到模型，其中，该模型确定输入的已翻译局部转录的一部分是否为稳定的，其中，当输入的已翻译局部转录的一部分预期为不会在所记录音频的另一个已翻译局部转录中变化，直到比输入的局部转录的时间间隔更晚的时间间隔为止时，输入的已翻译局部转录的该部分为稳定的；通过模型且基于输入的已翻译局部转录，将已翻译局部转录的一部分标识为稳定的；以及响应于将已翻译局部转录的该部分标识为稳定的，提供已翻译局部转录的该部分用于在用户设备上显示并使用该标识。该方面的其他实施例包括被配置为执行所述方法的动作的相应系统、设备、装置和计算机程序。能够在计算机存储设备上编码计算机程序(例如，指令)。

这些及其他实施例能够各自可选地包括以下一个或多个特征。

在一些实施方式中，可以基于从以第一语言记录的一个或多个训练音频数据文件生成的转录的翻译来训练模型。

在一些实施方式中，对于每个训练音频数据文件，从一个或多个训练数据音频文件生成的转录可以包括音频数据文件的多个局部转录，训练音频数据文件的每个局部转录是在多个连续时间间隔中的相应一个处生成的，其中，每个局部转录(1)是从音频的开始直到特定时间间隔为止的音频的转录，且(2)为第一语言。