[发明专利]跨语言语音转换系统和方法

说明书

跨语言语音转换系统和方法，包括语音特征提取器，该语音特征提取器被配置为接收第一语言的第一语音音频段和第二语言的第二语音音频段，并分别提取包括第一语音的与说话者相关的声学特征和第二语音的与说话者无关的语言特征的音频特征。一个或多个生成器被配置为接收提取的特征，并从其产生保持第一语音的与说话者相关的声学特征和第二语音的与说话者无关的语言特征的第三语音候选，其中，该第三语音候选说第二语言。一个或多个鉴别器被配置为将第三语音候选与地面实况数据进行比较，并且将比较结果提供回生成器，用于润色第三语音候选。

相关申请的交叉引用

本申请要求2019年12月30日提交的美国临时申请号62/955227的权益，该申请通过引用结合于此。

背景技术

包括语音在内的媒体产品(例如，应用、电影、有声读物和游戏)通常由原始演员根据脚本表演而创作。这些语音通常通过“配音演员”的帮助被翻译成不同的语言。许多观众需要求助于不同语言的替代配音演员，因为原始演员通常不能说使这些作品可用的所有语言。

语音转换(VC)将一个说话者的语音转换成另一说话者的声音。更具体地，大多数当前的VC技术致力于使源说话者听起来像目标说话者，这涉及执行源说话者和目标说话者的频谱特征映射。现有的VC技术大多是为单语VC设计的，这意味着源说话者和目标说话者的语言是相同的。由于并行数据(即，包含两种语言的相同语音内容的数据)在实践中并不总是可用，因此跨语言VC比单语VC更具挑战性。因此，可以处理非并行数据的跨语言VC技术可以用于在媒体产品翻译中可以使用的跨语言VC。

发明内容

提供该发明内容，以简化的形式介绍将在下面的具体实施方式中进一步描述的一些概念。该发明内容不旨在识别所要求保护的主题的关键特征，也不旨在用于帮助确定所要求保护的主题的范围。

本公开总体上涉及语音转换，更具体地，涉及一种能够利用非并行数据进行跨语言语音转换的方法和系统。

根据本公开的一些实施例，由机器学习系统(例如，生成性对抗网络(GAN)系统)执行的跨语言语音转换的方法包括，由语音特征提取器接收第一语言的第一语音音频段和第二语言的第二语音音频段。该方法通过语音特征提取器分别从第一语音音频段和第二语音音频段提取音频特征，该音频特征包括第一语音的与说话者相关的声学特征和第二语音的与说话者无关的语言特征。该方法通过一个或多个生成器从受训练的数据集生成第三语音候选，该第三语音候选具有第一语音的与说话者相关的声学特征和第二语音的与说话者无关的语言特征，其中，该第三语音候选说第二语言。该方法通过一个或多个鉴别器将第三语音候选与包括第一语音的与说话者相关的声学特征和第二语音的与说话者无关的语言特征的地面实况数据进行比较。该系统将比较步骤的结果提供回生成器，用于润色第三语音候选。

在一个实施例中，一个或多个鉴别器确定第三语音候选与第一语音的与说话者相关的声学特征和第二语音的与说话者无关的语言特征之间是否存在至少一个不一致。在一个这种实施例中，当存在至少一个不一致时，该系统产生与第三语音候选与第一语音的与说话者相关的声学特征和第二语音的与说话者无关的语言特征之间的一致性损失相关的信息。

在一些实施例中，所提取的与说话者相关的声学特征是指表征说话者的语音的实际声音的、并且使得听者能够区分以相同的音高、口音、振幅和节奏说出相同单词的说话者的语音特征。在进一步的实施例中，与说话者相关的声学特征包括音段特征，这些音段特征是与声道特征相关的短期特征(例如，可以从短音频段确定的特征)，例如，音色、共振、频谱包络和平均音高强度。与说话者无关的语言特征可以包括与多于一个音段上的域的声学特性相关的超音段特征，并且与诸如音高轮廓、单词持续时间、节奏、发音、音节、音素、语调轮廓或重音规律的特征相关。这些超音段特征可能与特定语言或方言的语言特征特性具有高度相关性，例如，与定义语言或方言的口音的特征具有高度相关性。