[发明专利]用于声对声转换的系统和方法

说明书

一种构建话音转换系统的方法使用来自目标语音的目标信息以及源话音数据。该方法接收源话音数据和在音色空间内的目标音色数据。根据源话音数据和目标音色数据，生成器产生第一候选数据。参照多个不同语音的音色数据，鉴别器将第一候选数据与目标音色数据进行比较。鉴别器确定第一候选数据和目标音色数据之间的不一致性。鉴别器产生包含与不一致性有关的信息的不一致性消息。将不一致性消息反馈给生成器，并且生成器产生第二候选数据。使用由生成器和/或鉴别器产生的作为反馈结果的信息来改进音色空间中的目标音色数据。

优先权

本专利申请要求2017年5月24日提交的名称为“利用对抗性神经网络的音色传递系统和方法(TIMBRE TRANSFER SYSTEMS AND METHODS UTILIZING ADVERSARIAL NEURALNETWORKS)”并指定William C.Huffman作为发明人的美国临时专利申请第62/510,443号的优先权，其全部公开内容通过引用并入本文。

技术领域

本发明总体上涉及语音转换，且更具体地，本发明涉及生成合成语音简档。

背景技术

由于使用个人语音激活的助理，例如Amazon Alexa、Apple Siri和GoogleAssistant，近来人们对语音技术的兴趣已经达到顶峰。此外，播客和有声读物服务最近也已经普及。

发明内容

根据本发明的一个实施例，一种构建话音转换系统的方法使用来自目标语音的目标语音信息以及表示源语音的话音段的话音数据。该方法接收表示源语音的第一话音段的源话音数据。该方法还接收与目标语音相关的目标音色数据。目标音色数据在音色空间内。生成机器学习系统根据源话音数据和目标音色数据，产生第一候选话音数据，第一候选话音数据表示第一候选语音中的第一候选话音段。鉴别机器学习系统用于参照多个不同语音的音色数据将第一候选话音数据与目标音色数据进行比较。鉴别机器学习系统参照多个不同语音的音色数据来确定第一候选话音数据和目标音色数据之间的至少一个不一致性。鉴别机器学习系统还产生具有与第一候选话音数据和目标音色数据之间的不一致性有关的信息的不一致性消息。该方法还将不一致性消息反馈给生成机器学习系统。根据不一致性消息，生成机器学习系统产生第二候选话音数据，第二候选话音数据表示第二候选语音中的第二候选话音段。使用由生成机器学习系统和/或鉴别机器学习系统产生的作为反馈结果的信息来改进音色空间中的目标音色数据。

在一些实施例中，源话音数据变换成目标音色。其中，源话音数据可以来自源语音的音频输入。以类似的方式，可以从来自目标语音的音频输入中获得目标音色数据。可以从目标话音段提取目标音色数据。此外，目标音色数据可以由时间接受域滤波。

机器学习系统可以是神经网络，并且多个语音可以在向量空间中。因此，多个语音和第一候选语音可根据每一语音提供的话音段中的频率分布映射在向量空间中。此外，根据不一致性消息可以调整向量空间中与多个语音表示相关的第一候选语音表示，以表达第二候选语音。因此，系统可通过将候选语音与多个语音进行比较来将身份分配给候选语音。

在一些实施例中，当鉴别神经网络具有小于95％的第一候选语音是目标语音的置信区间时，产生不一致性消息。因此，第二候选话音段提供比第一候选话音段更高的被鉴别器识别为目标语音的概率。因此，一些实施例使用生成机器学习系统根据空不一致性消息在最终候选语音中产生最终候选话音段。最终候选话音段模仿源话音段，但是具有目标音色。