[发明专利]一种基于多特征融合的伪造语音检测方法及装置

说明书

本发明公开了一种基于多特征融合的伪造语音检测方法及装置，包括：通过提取语音中的多种特征，通过特征缩放和特征平衡矩阵将提取的特征进行融合获得融合特征，融合特征尽可能的融合了语音中的特征，然后利用融合特征训练基于长短期记忆网络的伪造语音检测模型，实现对各种伪造语音方法生成的伪造语音的检测。

技术领域

本发明属于深度学习安全领域，具体涉及一种基于多特征融合的伪造语音检测方法及装置。

背景技术

语音伪造技术指的是通过一定的技术实现生成特定说话人的语音，相比于视频伪造，语音伪造具有不易被发现，应用面广的特点。如微信的声纹锁就可以通过伪造语音进行破解，这就带来了财产以及隐私方面的安全问题。

伪造语音可以通过参数生成，波形拼接，语音模拟生成等技术进行合成。检测参数生成式语音伪造的大多数方法依赖于伪造语音中的特定参数进行检测，并且基于参数生成的伪造语音的参数动态变化往往小于天然语音的动态变化。其中，反映谱包络细节的高阶倒谱系数在隐马尔可夫模型参数训练和生成过程中趋于平滑。因此，参数生成语音的高阶倒谱分量比自然语音的变化小。虽然这种差异的估计提供了一种区分真实语音和参数生产语音的方法，但这种方法是基于一个特定的隐马尔可夫的语音参数生成系统的全部知识。因此，同样的对策可能不适用于其他使用不同声学参数的生成器生成的伪造语音。

由于波形拼接式语音的伪造操作简单性，该方法被大量应用于语音伪造上。对于语音波形拼接式的伪造语音，检测器对新访问样本与存储的过去访问尝试实例进行比较。随着深度学习的快速发展，基于深度学习的语音防伪检测系统开始进入人们的视线，可以实现对模拟伪造语音的检测。基于深度学习的神经网络系统是一种特殊的机器学习系统，最近几年成为了一种广泛使用的模型，且应用于各种生物识别等任务中几乎均取得了当时最优的成果。但是目前的基于深度学习的伪造语音检测技术存在伪造语音检测类别单一，只能检测某一伪造方法生成的语音等问题。

发明内容

针对目前伪造语音检测方法只能检测某一种伪造语音泛化性弱的问题，本发明提供了一种基于多特征融合的伪造语音检测方法，通过融合多个语音特征，并通过特征平衡矩阵实现对多种特征的平衡化构建融合特征；利用构建的融合特征训练基于长短期记忆网络的伪造语音检测模型，实现对多种伪造语音的检测。

第一方面，本发明实施例提供的一种基于多特征融合的伪造语音检测方法，包括以下步骤：

获取伪造语音以及对应的正常语音，构建伪造语音和正常语音的标签；

针对伪造语音和正常语音分别执行以下过程：对语音进行特征提取得到不同维度的多类特征，对不同维度的多类特征分别缩放到相同维度得到多类基特征后，利用特正平衡矩阵对多类基特征进行融合，得到融合特征；

构建由长短期记忆网络和全连接神经网络组成的伪造语音检测模型，利用伪造语音的融合特征和标签、正常语音的融合特征和标签对伪造语音检测模型进行有监督学习，以优化伪造语音检测模型的模型参数和特正平衡矩阵；

应用时，利用融合权重参数确定的特正平衡矩阵获取待测语音的融合特征后，利用参数优化的伪造语音检测模型对待测语音的融合特征进行检测，以输出检测结果。

优选地，对语音进行特征提取得到的多类特征包括：基频、梅尔倒谱系数、非周期成分、梅尔频谱、能量谱、频谱、线性预测系数、线性预测倒谱系数。

优选地，采用最邻近插值法对分别将不同维度的多类特征缩放到相同维度得到多类基特征。

优选地，所述特正平衡矩阵由表示融合权重参数组成，采用符合正态分布的随机数初始化融合权重参数。

优选地，在对伪造语音检测模型进行监督学习时，采用交叉熵损失函数作为模型的优化目标。