[发明专利]一种基于特征剪裁和平移的语音识别数据增强方法

说明书

本发明涉及一种基于特征剪裁和平移的语音识别数据增强方法，属于语音识别处理技术领域。本方法分别在时间维度和频率维度上，对音频信号特征进行剪裁和平移。其中，在时间维度上，随机选取某一时间段的特征值，裁剪该时间段的特征，然后将未被裁剪的特征值沿时间维度方向平移；在频率维度方向，随机选取某一频率段的特征值，然后裁剪该频率段的特征，将未被裁剪的特征值沿着频率方向平移。本方法无需再重新生成音频信号，也无需再提取特征，避免了存储空间与运行时间的浪费，比现有的数据增强技术的数据增强效果更好，有效提升了语音识别效果。

技术领域

本发明涉及一种基于特征剪裁和平移的语音识别数据增强方法，属于语音识别处理技术领域。

技术背景

随着计算机技术的快速发展，计算机技术被运用到社会的各个领域，同时，产生了海量语音数据处理困难以及人机交互困难。语音识别的目标，是将人类说话内容通过计算机自动转化为文本。随着人工智能和深度学习技术的进一步发展，语音识别技术取得了重大进展。

语音识别面临的主要困难是训练语料不充足、多样性缺乏，导致识别模型过拟合，泛化能力差。这极大限制了语音识别技术的发展。目前，常用的解决办法有Dropout、L1、L2正则、Batch Normalization、迁移学习、预训练，等等。

但是，这些方法都是从识别模型入手，试图从泛化能力更强的模型族里找到一个对训练数据拟合最好的模型。然而，数据增强是从数据出发，从已有的数据中根据先验知识生成伪数据，以此增加数据的多样性，从而达到增强模型泛化能力，防止模型过拟合的目的。

现有的语音数据增强方法绝大部分都集中于音频信号端。例如噪声添加，其原理是在原始音频信号上加入环境噪声，从而生成新的音频信号。但是，这类语音数据增强方法，不仅需要空间来存储新生成的音频，而且需要更多时间来对新生成的音频进行特征提取。此外，还有一些在线语音数据增强方法，如Daniel S.Park等人提出的SpecAugment，其原理是通过对特征端添加随机遮盖来实现数据增强的目的，但是，SpecAugment对数据的扰动程度强度不理想，不能最大程度的增强数据。

发明内容

本发明的目的是为了克服现有技术存在的不足，为解决语音识别技术中语音数据集数据量不足、多样性缺乏，且传统数据增强易造成数据集过大等技术问题，创造性地提出一种基于特征剪裁和平移的语音识别数据增强方法。

本发明的创新点在于：分别在时间维度和频率维度上，对音频信号特征进行剪裁和平移。其中，在时间维度上，随机选取某一时间段的特征值，裁剪该时间段的特征，然后将未被裁剪的特征值沿时间维度方向平移；在频率维度方向，随机选取某一频率段的特征值，然后裁剪该频率段的特征，将未被裁剪的特征值沿着频率方向平移。

为实现上述目的，本发明所采用的技术方案如下：

一种基于特征剪裁和平移的语音识别数据增强方法，对音频信号的特征值进行操作。

首先，对输入的语音片段，将其音频信号的波形文件输入到系统模型中进行特征提取，得到音频信号的特征矩阵F(如梅尔频谱特征矩阵)，该二维矩阵即为特征值。

其中，特征提取方法可以采用MFCC((Mel-Frequency Cepstral Coefficients)方法，或者其它音频特征提取方法。

然后，根据随机选取裁剪时间段的长度的上限，采样得到随机选取裁剪时间段的起点和长度；根据随机选取裁剪频率段的长度上限，采样得到随机选取裁剪频率段的起点和长度。

之后，根据随机选取裁剪时间段的起点和长度，生成时间裁剪平移矩阵L；根据随机选取裁剪频率段的起点和长度，生成频率裁剪平移矩阵R。

随后，使用时间裁剪平移矩阵L、频率裁剪平移矩阵R，对特征矩阵F做矩阵变换，得到新的音频信号特征