[发明专利]一种语音对抗样本检测方法、系统、存储介质及应用

权利要求书

1.一种语音对抗样本检测方法，其特征在于，所述语音对抗样本检测方法首先读取输入的音频并进行谱减法降噪；接着对降噪前后的音频进行mfcc特征提取，然后输入到语音识别系统Deep Speech中得到转录文本；接着，根据转录文本计算相似度；根据初始输入音频的mfcc特征矩阵计算对抗度；最后，加载音频对抗样本二分类网络的模型和参数，将相似度和对抗度输入二分类网络中，预测音频是否为对抗样本。

2.如权利要求1所述的语音对抗样本检测方法，其特征在于，所述语音对抗样本检测方法具体包括：

读取输入的音频audio_ori，对输入音频进行谱减法降噪得audio_den；

提取audio_ori和audio_den的音频mfcc特征矩阵fea_ori和fea_den；

加载Deep Speech语音识别系统的深度神经网络模型和参数，同时将提取的音频mfcc特征矩阵fea_ori和fea_den输入到Deep Speech语音识别系统中，得到转录文本phrase_ori和phrase_den；

根据转录文本phrase_ori和phrase_den计算相似度ratio_sim；

根据音频mfcc特征矩阵fea_ori计算对抗度ratio_adv；

加载音频对抗样本二分类网络的模型和参数，输入相似度ratio_sim和对抗度ratio_adv，预测音频audio_ori是否为对抗样本。

3.如权利要求2所述的语音对抗样本检测方法，其特征在于，所述读取输入的音频audio_ori时，采用python语言中scipy库中的scipy.io.savfile函数；

所述谱减法降噪采用Berouti的改进方法，公式如下：

其中，|Y(ω)|²为带噪音频的功率谱，|X(ω)|²为纯净音频的功率谱，|D(ω)|²为加性噪声的功率谱，α为过减因子，β为谱下限参数。

4.如权利要求2所述的语音对抗样本检测方法，其特征在于，所述提取音频mfcc特征矩阵采用python_speech_features库的mfcc函数进行提取，得到N×M维音频mfcc特征矩阵，其中，N与输入音频的长度有关，M取固定值40维；

所述相似度ratio_sim基于编辑距离和WER的思维进行改进，进行简单的归一化处理，计算公式如下：

其中，S为替换的字数，D为删除的字数，I为插入的字数，C为正确的字数，N为S+D+C的字数。

5.如权利要求2所述的语音对抗样本检测方法，其特征在于，所述对抗度ratio_adv通过进一步压缩提取的音频mfcc特征矩阵而来，具体计算公式如下：

其中，fea为音频mfcc特征矩阵，N为提取的fea的第一维度。

6.如权利要求2所述的语音对抗样本检测方法，其特征在于，所述音频对抗样本二分类网络，其训练所需的良性音频数据集源于Mozilla发起的Common Voice项目中的公共数据集以及Google的语音识别mini speech commands数据集，训练所需的对抗样本数据集通过现有的几种对抗样本的生成方法攻击所得，接着生成数据集对应的相似度ratio_sim和对抗度ratio_adv，辅之以标签，选取二分类网络架构进行训练。