[发明专利]语音识别模型的数据集清洗方法

说明书

本发明公开了一种语音识别模型的数据集清洗方法。现有方法工作量大且效率低。本发明方法首先进行数据集初步清洗和前处理，去除无用数据和提高音频质量操作，然后将处理后音频文件通过网络同步上传至多个云端ASR平台进行内容识别，取得每个音频文件的识别结果文本，将每个音频文件的识别结果文本与该音频文件对应的标注文件进行内容比对，如比对一致，则保留该音频文件及对应的标注文件，否则剔除。比对正确的音频文件及对应的标注文件移到清洗正确目录下，完成清洗。本发明方法音频数据清洗过程中无需人员参与，可多个任务同时进行，效率得到提高。

技术领域

本发明属于人工智能技术领域，具体涉及一种语音识别模型的数据集清洗方法。

背景技术

近年来人工智能相关技术发展迅速，这其中人工智能语音识别技术作为人机交流接口的关键技术，正在改变我们人机的交互方式，因此该技术也迅速成为人工智能领域的焦点。

目前人工智能语音识别技术已运用在越来越多的电子产品中，其中语音识别算法的性能是决定该算法能否实用化的关键因素。而语音识别算法性能的好坏，很大一部分是由语音识别算法的训练数据集决定，语音识别算法的性能的量化报告则是由语音识别算法测试数据集决定，由此可知在整个语音识别项目中，语音识别算法数据集起到的作用很大。因此我们对语音识别算法数据集质量要求很高,但无论购买还是网上下载的方式获取语音识别算法数据集质量不可能百分百完美，总会有标注质量或者音频质量不合格导致语音识别算法数据集质量低，因语音识别算法数据集的质量要求非常高，导致在语音识别项目前期中都会引入一个非常关键步骤，这个步骤就是语音识别算法数据集清洗，但是传统的测试方式有如下问题：

(1)语音识别算法数据集往往是海量的，特别是语音识别算法的训练集数量特别庞大，通过传统人查看标注内容再人耳听音频内容，最后比对是否一致，音频质量是否合格，这种方式工作量大且效率极低。

(2)长时间听音频，清洗人员身心健康也是不小的伤害。

(3)因海量的数据需要人工清洗那就需要大量的人力投入，对公司经济是个不小的开销。

发明内容

本发明的本发明的目的就是针对传统语音算法数据集清洗方法的不足，提供一种语音识别模型的数据集清洗方法。

因当前不管那种方式获取的语音识别算法数据集质量不可能百分百完美，均会有如下问题：

(1)语音识别算法数据集音频有，内容空、内容缺失、音频信噪比过高、异常噪声、语言错误问题；

(2)语音识别算法数据集音频标注有，内容为空，内容错误、内容缺失、语言错误问题。

上述问题都是影响语音算法识别数据集质量的问题，特别是语音识别算法的模型训练时候，假如使用的是错误的或者说质量不高的音频数据集，可想而知训练出来的语音识别算法模型肯定是有问题的，导致该语音识别算法模型无法使用。鉴于此，本发明提出的语音识别算法数据集清洗方法具体如下：

步骤(1)数据集初步清洗，数据集中包括多个音频文件和对应的标注文件，剔除音频文件和标注文件中大小为0字节的空文件。

步骤(2)数据集前处理；针对海量的语音识别音频数据集，其中会有些是无用的音频数据，标注也编码各异，将全部语音识别音频数据进行如下处理：

(2-1)利用VAD(Voice Activity Detection)算法检测每个音频文件是否全为静音，剔除纯静音的内容为空的文件；VAD语音活动检测又称语音端点检测，语音边界检测，目的是从声音信号流里识别长时间的静音期；

(2-2)利用VAD(Voice Activity Detection)算法检测每个音频文件的头部和尾部是否有静音部分，剔除头尾静音部分；