[发明专利]一种基于联合因子分析模型的移动设备声纹识别方法

说明书

技术领域

本发明公开了一种基于联合因子分析模型的移动设备声纹识别方法，涉及声纹识别技术领域。

背景技术

随着模式识别技术的发展突破和电子设备运算速度和性能的提高，生物信息识别技术近年来在用户身份确认领域中得到了飞速的发展。相较于传统的密码和PIN码具有容易被窃取和复制的硬伤，生物信息（指纹、声纹等）对于每一个用户来说都具有唯一性，并且极难窃取复制。指纹识别由于其稳定、不易变化、不受外界条件影响等优点，已经被广泛的应用在了打卡器和手持设备等电子产品中。声纹识别技术也被应用在了保险箱解锁、声控门锁和高档轿车发动机启动确认等领域。但在移动设备上，尤其是智能手机端，声纹识别在实用化过程中仍然有许多问题需要解决，主要有以下因素：

1.考虑到效率和便捷等因素，用户用作训练模型的语音不能多于30s，识别时的语音不能多于10s，这就带来训练数据不足的问题。

2.手机设备的易变性。由于不同型号智能手机的音频处理芯片和算法的差异，读取的音频质量会有差别。

3.传输信道的易变性。由于蜂窝通信和VOIP等传输语音的技术对于语音的编解码方式存在差异等。传输信道对语音的质量也有一定程度的畸变和损伤。

4.背景环境的易变性。由于移动设备采集语音的地点无法固定。密闭环境、车厢、机场、户外等，语音不可避免地会携带背景环境的信息，对声纹模型（说话人模型）会有不同程度的影响。

5.声纹的差异。同一用户，说话时的语气、感情、说话的内容和语种的不同也会对说话人模型带来影响。

以上这些因素统称为说话人识别中的易变性（variability）干扰，其中，2、3、4统称为信道易变性（channel variability），5称为会话易变性（session variability）。

为了降低和消除以上这些干扰对声纹识别系统性能的影响，Patrick Kenny等研究者提出了一种在传统的GMM-UBM（高斯混合模型-通用背景噪声模型）声纹识别系统基础上的改进模型算法，称为联合因子分析（Joint Factor Analysis，JFA），如图1所示。该方法在NIST2008说话人识别评比中取得了最优的成绩，并且能够有效处理易变性对声纹模型带来的干扰。

JFA模型是一种两层模型，基于经典的GMM-UBM框架。传统的GMM-UBM模型已经验证，不同声纹模型的差异只在于每个高斯的均值向量，而每个高斯模型的权重和方差都可以直接来源于UBM的取值。传统的UBM-GMM模型抛弃了训练语音中大量的信道信息和会话信息。而JFA模型构建了三个子空间：说话人空间、信道空间和残差空间，最终的高斯均值向量表征为：

M_ki＝m_k+U_kx_i+V_ky_s(i)+D_kz_ks(i)    (I)

下标的含义如下，k代表第k个高斯模型，i代表某一个语音段（会话），s_(i)表示说话人s的某一语音段i。上述公式中：m_k表示独立于说话人和会话内容的均值向量，一般是取UBM中的相应高斯的均值向量；U_k表示信道因子负载方阵；V_k表示说话人因子负载方阵；D_k表示说话人残差计量方阵，为对角矩阵；

以上矩阵都需要大量的背景数据进行训练，取得相应的最大似然的模型。这些训练过程都不需要用户参与。而隐藏的用户参数和会话参数需要移动设备采集用户的声音进行训练和最大似然。这些隐藏的用户参数和会话参数为：x_i代表依赖于会话的信道因子向量；y_s(i)代表依赖于说话人的声纹因子向量；z_ks(i)表示依赖于说话人和单个高斯模型的残差因子向量；通常认为x_i，y_s(i)和z_ks(i)都是符合(0，1)分布的标准高斯分布。JFA通过引入的两个新的子空间(信道空间和残差空间)的参数估计，将信道易变性和会话易变性的影响考量进最终的声纹模型中，从而是最终的高斯均值向量(这个向量表征了每个特定的说话人的声纹特征)。

JFA模型使得声纹识别系统能够很好地抑制和消除移动设备端设备带来的种种易变性干扰，并且拥有很好的鲁棒性。但国内还未有企业和研究机构将这项技术移植到移动设备端。

发明内容