[发明专利]用于数据增强的语音加噪方法及系统

说明书

本发明实施例提供一种用于数据增强的语音加噪方法。该方法包括：将无噪音频和带噪音频的说话人向量输入至条件变分自编码模型，对模型编码器输出的向量均值以及方差向量随机高斯分布采样，得到噪音隐向量；将噪音隐向量和无噪音频输入至模型，通过模型解码器输出拟噪音频；基于拟噪音频和带噪音频训练条件该模型，对得到多种噪音隐向量建模，得到噪音隐变量空间；在噪音隐变量空间中随机采样作为加噪隐向量，将加噪隐向量和无噪音频输入至模型解码器，得到用于数据增强的新带噪音频。本发明实施例还提供一种用于数据增强的语音加噪系统。本发明实施例在说话人向量上建模，通过隐空间特征提取，产生更多样的噪声数据，提升语音识别模型的鲁棒性。

技术领域

本发明涉及语音识别领域，尤其涉及一种用于数据增强的语音加噪方法及系统。

背景技术

随着时间的推移，语音识别技术取得了很大的改进，但是将语音识别应用到噪声较为复杂的环境中时，还是会对其识别性能有一定的影响。为了让语音识别模型能够更好的适用到各种噪音环境中，提高语音识别模型对噪音的鲁棒性以及泛化能力，通常会使用更多的带噪音频对其进行训练，因为这种方式简单有效，但是适用于训练的带噪音频较难获取，为此，通常会对干净语音进行人工加噪。例如，人工采集噪音，之后将噪音与干净语音进行混合，得到了更多的适用于训练的带噪音频。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

这些人工加噪方式只能通过录制噪音的方式，将噪音与人声数据混合，受限于所录噪声种类和数量，这样最后得到的加噪语音，只包含录制的这些噪音。由于噪声种类和数量有限，使得最后得到的加噪语音对语音识别模型训练，也难以使其能够使用到各种噪音环境中，鲁棒性以及泛化能力较差，同时，由于人工加噪需要一定的人力资源，也需要一定低成本，使其数据增强所消耗的成本较高。

发明内容

为了至少解决现有技术中由于人工加噪的噪声种类和数量有限，使得训练的语音识别模型鲁棒性以及泛化能力较差，同时人工加噪的成本较高的问题。

第一方面，本发明实施例提供一种用于数据增强的语音加噪方法，包括：

将无噪音频的说话人向量作为所述条件变分自编码模型的条件，将通过所述无噪音频加噪生成的带噪音频的说话人向量以及所述条件输入至条件变分自编码模型，对所述变分自编码模型的编码器输出的向量均值以及方差向量进行随机高斯分布采样，得到噪音隐向量；

将所述噪音隐向量以及条件输入至所述条件变分自编码模型，通过所述条件变分自编码模型的解码器输出用于恢复所述带噪音频的拟噪音频；

基于所述拟噪音频以及带噪音频训练所述条件变分自编码模型，得到多种噪音隐向量，响应于所述模型的训练完成，对所述噪音隐向量建模，得到噪音隐变量空间；

在所述噪音隐变量空间的标准正太分布中随机采样作为加噪隐向量，将所述加噪隐向量以及无噪音频输入至所述条件变分自编码模型的解码器中，得到用于数据增强的新的带噪音频。

第二方面，本发明实施例提供一种用于数据增强的语音加噪系统，包括：

隐向量确定程序模块，用于将无噪音频的说话人向量作为所述条件变分自编码模型的条件，将通过所述无噪音频加噪生成的带噪音频的说话人向量以及所述条件输入至条件变分自编码模型，对所述变分自编码模型的编码器输出的向量均值以及方差向量进行随机高斯分布采样，得到噪音隐向量；

音频恢复程序模块，用于将所述噪音隐向量以及条件输入至所述条件变分自编码模型，通过所述条件变分自编码模型的解码器输出用于恢复所述带噪音频的拟噪音频；

隐变量空间确定程序模块，用于基于所述拟噪音频以及带噪音频训练所述条件变分自编码模型，得到多种噪音隐向量，响应于所述模型的训练完成，对所述噪音隐向量建模，得到噪音隐变量空间；