[发明专利]语音数据增强方法和装置

说明书

本发明公开语音数据增强方法和装置，其中，一种语音数据增强方法，包括：语音数据增强方法，包括：将原始干净音频和带噪音频输入至嵌入提取器中，其中，所述带噪音频包括所述原始干净音频和噪声；获取所述嵌入提取器输出的干净嵌入和噪声嵌入；计算所述干净嵌入和所述噪声嵌入之间的差值；对所述差值进行分布估计得到噪声分布拟合后的噪声嵌入。本申请实施例通过仅使用少量训练数据就可以可靠地估计所提议的NDM，与传统的增强方法相比，NDM方法可以节省时间和磁盘成本。NDM训练结果能够达到和传统增强方法相媲美的效果，甚至有时候可以超越传统方法。

技术领域

本发明属于语音数据增强领域，尤其涉及语音数据增强方法和装置。

背景技术

相关技术中，实验室已经有在GAN和VAE技术基础上进行的数据增强技术。

数据增强(DA)是帮助构建具有良好泛化能力的说话人识别系统的一种有效策略。在基于说话人特征的说话者验证中，数据增强可以应用于前端特征提取器或后端PLDA打分。传统后端数据增强在于通过已有的特征数据，通过GAN、VAE等生成模型生成相关数据，用以增强 PLDA的鲁棒性。

发明人在实现本申请的过程中发现，现有方案至少存在以下缺陷：训练较为复杂，参数较多，实际应用时需要的资源较多。

发明内容

本发明实施例提供一种语音数据增强方法及装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种语音数据增强方法，包括：将原始干净音频和带噪音频输入至嵌入提取器中，其中，所述带噪音频包括所述原始干净音频和噪声；获取所述嵌入提取器输出的干净嵌入和噪声嵌入；计算所述干净嵌入和所述噪声嵌入之间的差值；以及对所述差值进行分布估计得到噪声分布拟合后的噪声嵌入。

第二方面，本发明实施例提供一种语音数据增强装置，包括：嵌入提取模块，配置为将原始干净音频和带噪音频输入至嵌入提取器中，其中，所述带噪音频包括所述原始干净音频和噪声；获取模块，配置为获取所述嵌入提取器输出的干净嵌入和噪声嵌入；计算模块，配置为计算所述干净嵌入和所述噪声嵌入之间的差值；以及分布拟合模块，配置为对所述差值进行分布估计得到噪声分布拟合后的噪声嵌入。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的语音数据增强方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的语音数据增强方法的步骤。

本申请的方法和装置提供的方案通过仅使用少量训练数据就可以可靠地估计所提议的NDM(基于噪声分布匹配，Noise Distribution Matching)，与传统的增强方法相比，NDM方法可以节省时间和磁盘成本。NDM训练结果能够达到和传统增强方法相媲美的效果，甚至有时候可以超越传统方法

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种语音数据增强方法的流程图；

图2为本发明一实施例提供的基于NDM的嵌入增强流程图；

图3为本发明一实施例提供的NDM估计中使用的不同训练数据大小的性能比较；

图4为5个说话人的手动模式(暗点)和NDM(亮点)生成的“嘈杂”嵌入的T-SNE可视化；