[发明专利]基于分区扰动的声学对抗样本生成方法

说明书

本发明提供了一种基于分区扰动的声学对抗样本生成方法，基于音频信号的时频分布特性，在音频的幅度谱图上，依据分区方案，划分关键区域和非关键区域；在不同的区域设置不同的扰动约束，利用对抗样本生成方法分区域生成扰动，与原始幅度谱叠加得到对抗样本幅度谱。分区生成扰动时，减弱关键区域的扰动约束以增强关键区域的扰动能量，增强非关键区域的扰动约束以减弱非关键区域的扰动能量，生成的对抗样本具有与原始样本更相似的时频分布特性，可以实现以更小的扰动总能量取得更高的攻击成功率。

技术领域

本发明涉及对抗样本生成领域，尤其涉及一种基于分区扰动的声学对抗样本生成方法。

背景技术

研究对抗样本攻击有助于了解深度学习模型的脆弱性和探索如何防御攻击，因此研究声学对抗样本攻击对探索如何提高声学场景分类模型的对抗样本鲁棒性非常重要。基于深度学习的对抗样本攻击技术在攻击声学场景分类模型时已取得了较好的效果，但典型的对抗样本攻击技术在样本全局以统一的标准生成对抗样本，在追求高攻击成功率的情况下，存在声学信号对抗样本中的对抗性扰动容易被感知的问题。

为了更好地提升对抗样本的不可感知性，已有许多减小扰动区域的优化方案。基于限制区域的梯度迭代的攻击方法，首先使用目标检测方法来限制攻击目标区域，然后利用基于梯度的迭代攻击方法在该区域添加扰动。基于限制区域的逃逸攻击方法，使用扰动限制器来控制被攻击区域的位置、大小和形状，通过联合训练transformer和被攻击的分类器优化扰动，最终在目标的背景或边界增加扰动。恶意补丁和和添加附件的方法，通过替换原始样本中的一部分物体来生成对抗样本。单像素攻击的方法，通过使用差分进化算法只改变较小数量的像素实现成功攻击。

但是这些方法有两个缺点：一方面，需要一个复杂的预处理步骤来确定扰动区域，这不仅增加了时间成本，而且对对抗样本的性能也有很大影响。另一方面，为了保持较高的攻击成功率，限制区域的扰动约束阈值较大，会产生能量较大的对抗性扰动，对抗样本的不可感知性并不理想。

发明内容

本发明针对现有技术存在的以上不足，提供基于分区扰动的声学对抗样本生成方法，解决目前声学场景分类中的对抗样本生成方法不能依据声音信号的时频分布特性分区设置扰动约束生成不可感知的对抗性扰动的技术问题。

本发明采用以下技术方案。

一方面，本发明提供基于分区扰动的声学对抗样本生成方法，包括：利用傅立叶变换将原始样本波形转换为幅度谱；

在所述幅度谱上，依据声音信号的时频分布特性，采用分区方案进行分区，获得分区结果；

根据所述分区结果，生成分区掩码矩阵；

以所述幅度谱和分区掩码矩阵作为输入，利用对抗样本生成方法生成基于分区扰动的对抗样本幅度谱。

所述方法还包括：利用傅立叶变换将原始样本波形转换为相位谱；利用逆傅立叶变换将所述原始样本相位谱和对抗样本幅度谱转换成基于分区扰动的对抗样本波形。

进一步地，所述分区方案包括：

幅度值大于u·max的区域为幅度谱的关键区域，其他区域为幅度谱的非关键区域。其中，max为原始样本幅度谱的最大幅度值，u为分区阈值，u∈[0,1]。

进一步地，所述分区方案包括：

利用目标检测算法检测目标声音在幅度谱上的区域，定义其为幅度谱的关键区域，其他区域为幅度谱的非关键区域。

进一步地，所述分区方案包括：

利用显著性检测算法检测出幅度谱上的显著区域，并定义其为幅度谱的关键区域，其他区域为幅度谱的非关键区域。

进一步地，根据所述分区结果生成分区掩码矩阵的方法包括：