[发明专利]语音识别模型的数据集清洗方法

权利要求书

1.语音识别模型的数据集清洗方法，其特征在于，该方法具体如下：

步骤(1)数据集初步清洗，所述数据集中包括多个音频文件和对应的标注文件，剔除音频文件和标注文件中大小为0字节的空文件；

步骤(2)将数据集全部语音识别音频数据进行如下处理：

(2-1)检测每个音频文件是否全为静音，剔除纯静音的内容为空的文件；

(2-2)检测每个音频文件的头部和尾部是否有静音部分，剔除头尾静音部分；

(2-3)将数据集中每个音频文件的语音音频幅度进行归一化处理；

(2-4)将数据集中每个标注文件的字符编码进行归一化处理，统一将字符编码修改为当前清洗主机电脑可识别的字符编码；

步骤(3)云端ASR识别数据集；将处理后数据集中的音频文件通过网络同步上传至多个云端ASR平台，进行内容识别，取得每个音频文件的识别结果文本；

步骤(4)数据集识别结果比对及清洗；对于一个音频文件，查询每个云端ASR平台返回的结果构成的识别结果文本，进行如下处理：

(4-1)如果多个云端ASR平台返回的结果构成的识别结果文本存在有空文本，则直接判断为比对不一致，直接剔除该音频文件及对应的标注文件；

(4-2)如果多个云端ASR平台返回的结果构成的识别结果文本均有内容，则将每个云端ASR平台对应的识别结果文本与该音频文件对应的标注文件进行内容比对：首先查找对应的标注文件和识别结果文件中的内容中的阿拉伯数字字符，将阿拉伯数字字符转换成中文字符；然后查找数字转换后的对应的标注文件和识别结果文件中的内容中的中文字符，将中文字符转换拼音字符；再将中文转换后的对应的标注文件和识别结果文件中的所有大写字母转换为小写；最后比对大小写转换后的对应的标注文件和识别结果文件的内容，如果所有识别结果文本与对应的标注文件内容均一致，保留原始该音频文件及对应的原始标注文件，否则剔除该音频文件及对应的标注文件；

步骤(5)比对正确的音频文件及对应的标注文件移到清洗正确目录下。

2.如权利要求1所述的语音识别模型的数据集清洗方法，其特征在于，步骤(2)中利用VAD算法检测每个音频文件是否全为静音，以及每个音频文件的头部和尾部是否有静音部分。