[发明专利]解决基于感知的对抗音频攻击的自动语音识别系统

说明书

本发明涉及解决基于感知的对抗音频攻击的自动语音识别系统。一种用于在语音识别系统中产生组合音频信号的计算机实施的方法，方法包括以下步骤：对音频输入信号进行采样，以生成时域采样的输入信号，然后将时域采样的输入信号转换为频域输入信号，之后响应于频域输入信号的临界频带的频率分量生成感知权重，响应于感知权重产生时域对抗信号；以及将时域对抗信号与音频输入信号组合，以产生组合音频信号，其中，组合音频信号的语音处理将输出与音频输入信号的语音处理不同的结果。

相关申请的交叉引用

本申请要求2019年6月14日提交的美国临时申请号62/861965的权益，此处以引证的方式将该申请的公开全文并入。

【技术领域】

本发明总体涉及一种解决通过向信号添加相对较小、不可感知量的噪声的基于感知的对抗音频攻击的自动语音识别系统(ASR)。

【背景技术】

自动语音识别(ASR)是一种由计算机系统将口语识别并翻译成文本的技术。口语或语音经由麦克风或其他输入接收并被处理，以生成与语音关联的文本。文本可以用作经由该接口到计算机、计算机系统或其它系统的输入，使得可以使用正常的人类对话来控制系统。

对抗机器学习是一种在机器学习领域中使用的技术，该技术尝试利用恶意输入欺骗ASR模型。对抗机器学习可以应用于攻击机器学习模型或引起机器学习模型中的故障。然而，对抗机器学习也可以具有有益的应用，诸如提高机器学习模型的鲁棒性。这些技术可以用于操纵输入数据，以便识别学习算法(诸如机器学习系统的安全措施)的漏洞。一旦知道这些安全漏洞，就可以使用它们来提高机器学习系统的鲁棒性。

【发明内容】

一种计算机实施的方法，该方法用于获得与到语音识别系统的音频输入信号关联的对抗信号，方法包括：对音频输入信号进行采样，以生成时域采样的输入信号，然后将时域采样的输入信号转换为频域输入信号，之后基于频域输入信号的临界频带的频率分量生成感知权重，基于感知权重产生时域对抗信号；以及将时域对抗信号与音频输入信号组合，以产生组合音频信号，其中，组合音频信号的语音处理将输出与音频输入信号的语音处理不同的结果。

一种有形地具体实施用于软件程序的计算机可读指令的非暂时性计算机可读介质，该软件程序可由计算装置的处理器执行，以提供操作，这些操作包括：对音频输入信号进行采样，以生成时域采样的输入信号，将时域采样的输入信号转换为频域输入信号，基于频域输入信号的临界频带的频率分量生成感知权重，基于感知权重产生时域对抗信号，以及将时域对抗信号与音频输入信号组合，以产生组合音频信号。

一种用于对自动化语音识别系统执行对抗音频攻击的计算机系统，该计算机系统具有用于执行计算机可读指令的处理器和用于维持计算机可执行指令的存储器，计算机可执行指令在由处理器执行时执行以下功能：对音频输入信号进行采样，以生成时域采样的输入信号，将时域采样的输入信号转换为频域输入信号，经由人耳的心理声学模型识别临界频带，基于频域输入信号的临界频带的频率分量生成感知权重，基于感知权重产生时域对抗信号，以及将时域对抗信号与音频输入信号组合，以产生组合音频信号。

【附图说明】

图1描绘了根据一个实施方式的用于计算全局掩蔽阈值的五(5)个步骤的流程图。

图2是与从语音帧提取的全局掩蔽阈值有关的绝对听觉阈值的图示。

图3是与变化的α有关的语音质量感知评估(PESQ)分数的图示。

图4A是原始音频样本的频谱图。

图4B是其中α＝1.的原始音频样本的频谱图。

图4C是其中α＝0.5.的原始音频样本的频谱图。

图5A是将语言模型(LM)解码器用于空中攻击的词错率(WER)的图示。