[发明专利]一种对抗攻击免疫的自动语音识别方法

说明书

本发明公开了一种对抗攻击免疫的自动语音识别方法，包括以下步骤：A：选取语音数据集，得到语音采样数据；B：根据语音采样数据生成语音对抗样本；C：对语音数据集中的音频以及语音对抗样本根据设定的采样率进行采样，得到防御模型的输入；D：构建基于GAN模型的DD‑GAN防御模型；E：分别确定G模型与D模型的损失函数，并根据损失函数对防御模型DD‑GAN进行训练；F：将待识别语音利用防御模型DD‑GAN处理后，再通过语音识别模型进行识别。本发明能够提高语音识别模型抵抗恶意攻击的能力。

技术领域

本发明涉及语音识别领域，尤其涉及一种对抗攻击免疫的自动语音识别方法。

背景技术

近年来，随着互联网技术的发展，自动语音识别技术的运用越来越广泛。语音识别作为一种自然语言处理技术，可以将输入的音频信号转为文字。目前，语音识别在生活中的应用主要包含苹果siri、智能音箱等产品，随着技术的完善，语音识别在物联网方面的应用会越来越普及。自动语音识别技术需要对输入的音频进行预处理，进行语音特征提取，因此，语音对抗样本的研究极为重要。

语音识别技术的普及一定程度上会导致安全领域的隐患，因此，自动语音识别技术的对抗性攻击和防御开始被人们关注。对抗性攻击是指针对原始样本添加细微的扰动，在人类难以查别的情况下让模型识别错误。根据模型内部结构是否可知，对抗性攻击可以分为白盒攻击和黑盒攻击。对抗样本的防御就是通过一定的方法，增强模型的鲁棒性或者降低对抗样本的攻击性，进而减少或者完全消除对抗样本对于模型的负面影响。

近几年来出现的语音对抗攻击攻击性越来越强，种类越来越多，但相应的防御模型出现的却很少，这使得语音识别领域安全问题开始凸显，也为语音识别技术的大规模商业化埋下了一定的隐患。

发明内容

本发明的目的是提供一种对抗攻击免疫的自动语音识别方法，利用防御模型对待识别语音进行处理后再进行语音识别，从而有效地防御对抗样本的攻击，极大地提高了语音识别模型抵抗恶意攻击的能力。

本发明采用下述技术方案：

一种对抗攻击免疫的自动语音识别方法，依次包括以下步骤：

A：选取语音数据集，并将语音数据集中的音频根据设定的采样频率进行采样，选取最长音频的采样结果作为长度标准，然后对低于长度标准的所有采样结果分别进行数据补零对齐，最终得到语音采样数据；

B：根据步骤A中得到的语音采样数据生成语音对抗样本；

C：对步骤A中选取的语音数据集中的音频以及步骤B中的语音对抗样本根据设定的采样率进行采样，然后选取语音数据集和语音对抗样本中的最长的采样结果作为长度标准，对低于长度标准的语音数据集和语音对抗样本中的每一个采样结果分别进行补零对齐，得到防御模型的输入；将语音数据集中的音频对应的数据称为原音频，语音对抗样本对应的数据称为对抗音频；

D：构建基于GAN模型的DD-GAN防御模型；DD-GAN模型包括生成模型和判别模型，生成模型G模型用于将对抗音频进行去对抗性处理，生成无对抗性的音频；判别模型D模型用于判断G模型生成的音频是否具有对抗性；

E：分别确定G模型与D模型的损失函数，并根据损失函数对防御模型DD-GAN进行训练；

F：将待识别语音利用步骤E中训练好的防御模型DD-GAN处理后，再通过语音识别模型进行识别。

所述的步骤A中，选取Mozilla Common Voice database语音数据集作为数据集，使用16KHZ的采样频率进行采样得到语音采样数据。

所述的步骤B中，利用步骤A中得到的语音采样数据生成两种类型的语音对抗样本。

所述的步骤B包括具体步骤：

B1：根据CW方法生成第一种语音对抗样本；