[发明专利]基于声纹识别对抗性样本的物理域身份伪装系统及方法

说明书

本发明公开了一种基于声纹识别对抗性样本的物理域身份伪装系统及方法，系统包括离线训练部分和在线伪装部分，是一种将扰动与生成过程与施加过程分离的实时流式伪装攻击方法，利用实时音素对齐器和实时音素预测器预测并定位实时语音中的音素，并在音素级别生成细粒度的通用亚音素级对抗扰动，从而使得一次生成的亚音素级对抗性扰动能够实时施加到流式语音中，最终实现适应于真实物理域场景的伪装攻击形式。本发明每次实时同步的平均时间开销为0.11s，这表明本发明的同步机制能够在0.5s的同步间隔下实现良好的实时性能；音素延迟的中位数为50ms，超过75％的音素延迟小于100ms，具有良好的同步性能。

技术领域

本发明涉及声纹识别和对抗样本领域，具体地说，是一种基于声纹识别对抗性样本的物理域身份伪装系统及方法。

技术背景

近年来，语音以其自然的、以人为中心的体验成为最重要的人机交互界面之一。在智能助手、智能家居、自动导航等个人和生产领域的快速发展和部署，进一步刺激了声纹识别成为一种新兴的生物识别技术。随着深度学习技术的发展，基于声纹的身份认证技术取得了显著的性能提升，从而引起了声纹识别技术的广泛应用。有行业研究报告表明，2020年全球声纹识别市场规模达到107亿美元，并将有望在2026年超过271亿美元，充分显示了声纹识别技术广阔的发展前景。然而，这些基于深度学习的解决方案由于其固有的神经网络结构特点，很容易受到基于对抗性样本的攻击。对抗性样本攻击是一种利用目标神经网络模型结构特点，通过对输入样本添加定向的人类不可感知的微小扰动，使得模型数值偏差在传递的过程中不断放大，最终导致目标模型产生错误决策，甚至定向决策的一种可用性攻击。这种现象引发了广泛的公众关注和学界的大量研究。本发明利用亚音素级对抗性扰动构筑人声实时同步的流式对抗性扰动，并结合基于信道增强技术和迁移性增强技术，使得扰动能够在物理空间内对黑盒目标系统产生误导作用，最终对原始人声实现物理域内的定向伪装以欺骗声纹识别系统。

现有的面向声纹识别系统(下称“声纹系统”)的基于对抗性样本的身份伪装方法已经能够基于主流的对抗样本生成方法实现对声纹识别系统的说话人身份伪装攻击。但这些技术主要依托于纯数字化系统，面向结构透明的白盒模型，存在没有充分考虑到真实物理场景下面临的新的挑战，并且其实现形式与真实的应用场景不相适应，对物理系统构成的干扰有限等问题，进而导致无法在真实的物理域场景中实现。具体来说现有技术缺乏以下三个方面的能力。(1)流式对抗性扰动生成和注入：为了避免引起周围的人关注，伪装者不能直接播放对抗性样本，而应该根据人声以实时产生扰动并进行物理注入；(2)信道干扰抗性：物理传播过程为对抗性样本中引入了复杂的信道干扰，因此攻击需要是跨信道的，即能够抵抗设备和环境干扰；(3)攻击未知模型的可转移性：在现实世界中，目标声纹系统的实现细节对于伪装者往往是不可知的，这表明存在一个严格的黑盒设定。综上所述，现有的基于对抗性样本的身份伪装技术面向场景过于理想化，无法适应真实物理域场景的需求。

发明内容

本发明对现有技术的技术方案作出了改进，提供了一种基于声纹识别对抗性样本的物理域身份伪装系统及方法，本发明是通过以下技术方案来实现的：

本发明公开了一种基于声纹识别对抗性样本的物理域身份伪装系统，系统包括离线训练部分和在线伪装部分：

离线训练部分包括亚音素级扰动字典、音素识别器、对抗性样本生成器、声纹分类器、系统优化器和训练语料集；信号自训练语料集输入音素识别器后输出携带音素对齐信息的对齐语音，对抗样本生成器将亚音素级扰动字典中的亚音素扰动按音素信息叠加到输入对抗性样本生成器中的对齐语音中生成对抗性样本，对抗性样本在声纹分类器中前向传播，输出经过系统优化器反向传播后用于优化亚音素级及扰动字典；