[发明专利]一种抗对抗样本攻击的语音识别模型训练方法

说明书

本发明公开了一种抗对抗样本攻击的语音识别模型训练方法，包括以下步骤：A：选取由语音文件组成的数据集，B：对语音文件进行采样得到采集张量；C：对采集张量提取特征张量；D:将特征张量、语音文件对应的中文字符以及训练参数输入卷积神经网络模型，结合声学模型与语言模型使用CTC函数将输出张量映射为在每个时间步输出不同中文字符的概率，然后选取概率最大值转录出对应的中文字符作为实际输出值；最后求取目标值与实际输出值的偏差值记为loss；E：使用反向传播方法更新卷积神经网络模型的权值参数，在更新权值参数的同时对输入卷积神经网络模型的训练参数进行更新。本发明能够减少训练计算量和训练时间，提高抵抗恶意攻击的能力。

技术领域

本发明涉及语音识别领域，尤其涉及一种抗对抗样本攻击的语音识别模型训练方法。

背景技术

随着深度学习与神经网络研究的发展，自动识别应用场景越来越广泛。在语音领域，深度学习正在重新塑造我们的人机交互方式，例如广泛应用于智能手机的个人助理(苹果的Siri，谷歌的Assistant)。这些系统通过运行语音识别模型来识别并执行用户的命令。事实上对自动语音识别的研究要早于计算机的出现，语音合成与识别技术最早可以追溯到原始的声码器。到新世纪后人工智能网络才在语音识别领域研究兴起，大部分的人工智能网络采用基于反向传播算法(BP算法)的多层感知网络。

而最近的研究表明，神经网络很容易受到对抗性的攻击。在语音识别领域也存这样的问题，攻击者在音频中添加轻微的扰动，会使神经网络输入截然不同的数值，而人耳却无法识别出轻微的扰动。随着近年来出现的语音对抗攻击攻击性越来越强，种类越来越多，使得语音识别领域安全问题开始凸显，也为语音识别技术的大规模商业化埋下了一定的隐患。

发明内容

本发明的目的是提供一种抗对抗样本攻击的语音识别模型训练方法，将生成对抗性样本与训练模型整合成一步，在生成对抗性样本时，同时使用反向传播计算得到偏导数用于更新神经网络模型，减少训练计算量和训练时间，简化了模型的训练步骤与训练过程，极大地提高了抵抗恶意攻击的能力。

本发明采用下述技术方案：

一种抗对抗样本攻击的语音识别模型训练方法，包括以下步骤：

A：选取由N条语音文件组成的数据集,将语音文件对应的中文字符记为y；

B：对步骤A中选取的数据集中的语音文件进行采样得到采集张量；

C：将步骤B中得到的采集张量使用梅尔频率倒谱系数(MFCC)进行语音特征提取得到特征张量x，共计得到N个特征张量x；

D:将步骤C中得到的特征张量x、步骤A中语音文件对应的中文字符y以及卷积神经网络模型的训练参数δ输入卷积神经网络模型，经过卷积神经网络模型计算后得到输出张量，结合声学模型与语言模型，并使用CTC函数将输出张量映射为在每个时间步输出不同中文字符的概率，然后选取概率最大值转录出对应的中文字符作为实际输出值；最后求取目标值与实际输出值的偏差值记为loss；

其中，训练参数δ用于表达卷积神经网络模型对输入特征张量的偏导数信息，训练参数δ的初始值为0，目标值即为步骤A中得到的中文字符y；

E：使用反向传播方法更新卷积神经网络模型的权值参数w，在更新权值参数w的同时，对输入卷积神经网络模型的训练参数δ进行更新。

所述的步骤A中，采用中文语音识别框架以及中文语音数据集Free ST-Chinese-Mandarin-Corpus。

所述的步骤B中，在对语音文件进行预处理时，首先切除语音文件首尾段的无效部分，然后对语音文件进行采样，采样频率为16000赫兹，得到采集张量。

所述的步骤E包括以下具体步骤：

E1：将步骤C中得到的N个特征张量x划分为n组，分别记为第1组，第2组，……，第n组；