[发明专利]一种具有声纹克隆功能的语音通话方法及系统

说明书

本发明公开了一种具有声纹克隆功能的语音通话方法及系统，拾取待转换语音，输入到预先训练好的特定人语音转换模块，将待转换语音转换为目标语音，所述目标语音的内容、语调和情感保持与待转换语音一致；将所述特定人语音传输到接听方的扬声器。优点：相对于现有的变声方案，该系统实现了针对可由用户指定的任意特定人物的声纹克隆，能起到模仿和伪装该特定人物的作用；通过声音到声音的转换，比从文本到语音能更好的保留源语音的韵律和情感，使语音更加逼真生动；语音转换模块的算法和计算平台的设计可实现实时通话功能，更好的完成以模仿和伪装的身份来通话的目的。

技术领域

本发明涉及一种具有声纹克隆功能的语音通话方法及系统，属于语音信号处理技术领域。

背景技术

游戏音效、电视剧配音、二次元虚拟形象等场景对个性化语音生成具有较强的需求。实时变声器作为录音后变声的改进，能够做到直接转变声音，实现语音通话的目的。以语音合成和语音转换为代表的技术的不断进步，为游戏、电视剧、虚拟形象等对特定人物语音的模拟提供了技术支撑。

专利“一种基于智能终端的实时变声方法”提出了改变基频频率和响应函数零极点的变声方法。专利“一种基于安卓的无线网络下变声通话的方法”提出了安卓设备上的变声通话方法。专利“基于语音分析与合成的高品质实时变声方法”通过对信号进行插值或抽剪，修改基频和共振峰位置，调节音长、音高和银色，实现变声。但是，这些方法仅可改变声音的粗细，不能生成特定目标人物的声音。

专利“直播麦克风”提供了一种直播麦克风，能够对声音进行均衡与混响调节以增进趣味音效和电音变声等功能，而且还具能够通过无线网络与直播平台连接实现实时直播功能；同时还可作为录音设备，将采集到的音频存储在本地，并通过连接移动设备对其进行编辑、上传云端等。专利“基于蓝牙的端到端声音伪装系统的设计”通过变声的方式，基于蓝牙的端到端的实时声音系统，对用户的通话内容进行伪装与保护，实现了用户接听和拨打电话的一个实时变声功能，还可通过加入背景声音也能模拟不同的场景以达到伪装位置的效果。这些方法具有较好的实时性，但不能生存特定目标人物的声音。

专利“基于深度学习算法的真人变声设备的设计与实现”基于深度学习的智能声音转换算法，提供了一个能够将任何人的声音实时转换成所需的任何目标发音人声音功能的电子变声模块。采用语音识别前端和文本语音合成后端的方法思路构建的一种全新的语音到语音的实时变声算法原理。该全新设计表现出了文本到语音合成的效果和实时性，但该方法通过文本语音合成的方式生成语音在情感、自然度方面尚不能稳定的达到媲美真人语音的效果。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种具有声纹克隆功能的语音通话方法及系统。

为解决上述技术问题，本发明提供一种具有声纹克隆功能的语音通话方法，其特征在于，拾取待转换语音，输入到预先训练好的特定人语音转换模块，将待转换语音转换为目标语音，所述目标语音的内容、语调和情感保持与待转换语音一致；

将所述特定人语音传输到接听方的扬声器。

进一步的，所述拾取待转换语音的过程包括：

通过具有窄指向性的麦克风阵列拾取待转换语音。

进一步的，所述输入到预先训练好的特定人语音转换模块，将待转换语音转换为特定人语音的过程包括：

提取待转换语音的语音特征，所述语音特征包括基频、对数谱、非周期分量；

利用预先确定的关于特定人语音的对数线性函数对待转换语音的基频进行转换，得到转换后的目标基频；

将待转换语音的非周期分量复制为目标非周期分量；

利用长短时记忆模型对特定人语音和待转换语音的对数谱差异进行预测，确定目标对数谱；

将所述目标基频、目标非周期分量和目标对数谱整合生成所述目标语音。