[发明专利]一种抗对抗样本攻击的语音识别模型训练方法

权利要求书

1.一种抗对抗样本攻击的语音识别模型训练方法，其特征在于，包括以下步骤：

A：选取由N条语音文件组成的数据集,将语音文件对应的中文字符记为y；

B：对步骤A中选取的数据集中的语音文件进行采样得到采集张量；

C：将步骤B中得到的采集张量使用梅尔频率倒谱系数进行语音特征提取得到特征张量x，共计得到N个特征张量x；

D:将步骤C中得到的特征张量x、步骤A中语音文件对应的中文字符y以及卷积神经网络模型的训练参数δ输入卷积神经网络模型，经过卷积神经网络模型计算后得到输出张量，结合声学模型与语言模型，并使用CTC函数将输出张量映射为在每个时间步输出不同中文字符的概率，然后选取概率最大值转录出对应的中文字符作为实际输出值；最后求取目标值与实际输出值的偏差值记为loss；

其中，训练参数δ用于表达卷积神经网络模型对输入特征张量的偏导数信息，训练参数δ的初始值为0，目标值即为步骤A中得到的中文字符y；

E：使用反向传播方法更新卷积神经网络模型的权值参数w，在更新权值参数w的同时，对输入卷积神经网络模型的训练参数δ进行更新；

其中，所述的步骤E包括以下具体步骤：

E1：将步骤C中得到的N个特征张量x划分为n组，分别记为第1组，第2组，……，第n组；

E2：将0作为第一轮更新时的训练参数δ初始输入值，将第1组的特征张量x作为第一轮更新时的特征张量x初始输入值；然后通过公式(5)和(6)分别计算损失函数L对特征张量x及训练参数δ的偏导数，然后利用计算出的偏导数结果，通过公式(7)和(8)，求得更新后的训练参数δ和权值参数w；

g_adv＝▽_xL(x+δ,y,w)； (5)

g_w＝▽_wL(x+δ,y,w)； (6)

wⁱ⁺¹＝wⁱ+η·sign(g_adv)； (7)

δⁱ⁺¹＝δⁱ+ε·sign(g_adv)； (8)

其中，公式(5)为损失函数L对特征张量x的偏导数计算公式，公式(6)为损失函数L对训练参数δ的偏导数计算公式，公式(7)为权值参数w的更新公式，公式(8)为训练参数δ的更新公式，g_adv表示损失函数L对特征张量x的偏导数，η和ε均为常数，取值均为0.01--0.1，sign是数学中的符号函数；

E3：将上一步得到的更新后的训练参数δ作为训练参数δ初始输入值，仍将第1组的特征张量x作为第一轮的特征张量x初始输入值；然后按照步骤E2中的方法，通过公式(5)和(6)分别计算损失函数L对特征张量x及训练参数δ的偏导数，然后利用计算出的偏导数结果，通过公式(7)和(8)，求得更新后的训练参数δ和权值参数w；

E4：按照步骤E3的方法，重复执行J次，得到第一轮循环后的训练参数δ的更新值和权值参数w的更新值；

E5：设置一个中间张量δ_max，然后将第一轮循环后的训练参数δ的更新值赋值给中间张量δ_max；然后根据第2组的特征张量x的大小，从δ_max中截取与第2组的特征张量x大小相同的部分作为第二轮更新时的训练参数δ的初始值输入值；

E6：将步骤E5中从δ_max中截取得到的与第2组的特征张量x大小相同的部分作为第二轮更新时的训练参数δ的初始值输入值，将第2组的特征张量x作为第二轮更新时的特征张量x初始输入值；然后按照步骤E2中的方法，通过公式(5)和(6)分别计算损失函数L对特征张量x及训练参数δ的偏导数，然后利用计算出的偏导数结果，通过公式(7)和(8)，求得更新后的训练参数δ和权值参数w；

E7：将上一步得到的更新后的训练参数δ作为训练参数δ初始输入值，仍将第2组的特征张量x作为第二轮更新时的特征张量x初始输入值；然后按照步骤E6中的方法，通过公式(5)和(6)分别计算损失函数L对特征张量x及训练参数δ的偏导数，然后利用计算出的偏导数结果，通过公式(7)和(8)，求得更新后的训练参数δ和权值参数w；

E8：按照步骤E7的方法，重复执行J次，得到第二轮循环后的训练参数δ的更新值和权值参数w的更新值；

E9：按照步骤E5的方法，得到第三轮更新时的训练参数δ的初始值输入值，并将第3组的特征张量x作为第三轮更新时的特征张量x初始输入值；然后重复执行步骤E6至E8；得到第三轮循环后的训练参数δ的更新值和权值参数w的更新值；

E10：重复执行上述步骤，直至训练次数达到设定值或者损失函数达到收敛条件后，停止训练并保存更新权值参数w后的卷积神经网络模型，最终完成抗对抗样本攻击的语音识别模型的训练。