[发明专利]一种鉴别式局部信息距离保持映射的说话人确认方法

摘要

本发明提出一种鉴别式局部信息距离保持映射的说话人确认方法，属于声纹识别、模式识别与机器学习领域。该方法在训练阶段获取训练语音数据并提取每条训练语音数据的i‑vector；根据每个说话人对应的训练语音数据，提取每个说话人的i‑vector；训练得到鉴别式局部保持映射矩阵；在说话人确认阶段，获取待测语音数据并选定一个训练语音数据的说话人，计算待测语音数据与该说话人的i‑vector距离，若该距离小于设定的距离阈值，则判断待测语音数据属于说话人；说话人确认完成。本发明适用性强，且着重考虑了异类近邻点，增强对易混说话人语音的鉴别，具有更好的区分能力，提高说话人确认的准确率。

主权项

一种鉴别式局部信息距离保持映射的说话人确认方法，其特征在于，包括以下步骤：1)训练阶段；具体包括以下步骤：1.1)获取训练语音数据；训练语音数据对应的说话人个数为S，S≥500，每个说话人的训练语音数据大于等于5条，总共获取N条训练语音数据，N≥2500，每条训练语音数据时长大于30秒，每个说话人对应的训练语音数据为已知；1.2)提取步骤1.1)获取的每条训练语音数据的i‑vector，记为ωtrain，n，n＝1，2，…，N；具体步骤如下：1.2.1)提取每条训练语音数据的Baum‑Welch统计量，表达式如下：Zn,c=Σtn=1Tnγubm,c(otn)]]>Fn,c=Σtn=1Tnγubm,c(otn)(otn-μubm,c)]]>Sn,c=diag(Σtn=1Tnγubm,c(otn)(otn-μubm,c)(otn-μubm,c)t)]]>式中，Zn，c，Fn，c，Sn，c分别表示第n条训练语音数据第c个高斯的零阶、一阶、二阶统计量；Tn为第n条训练语音数据的总帧数；训练语音数据每帧提取一个特征，因此总帧数Tn等于该条训练语音数据的总特征数；是第n条训练语音数据第t帧的特征；μubm，c是通用背景模型的第c个高斯的均值，c＝1，2，…，C，C为通用背景模型总的高斯个数；是属于第c个高斯产生的概率，即：式中，ωubm，c是通用背景模型的第c个高斯所占的权重，∑c为通用背景模型的第c个高斯的协方差矩阵；1.2.2)提取每条训练语音数据的i‑vector，表达式如下：ωtrain，n＝(I+TtZn∑‑1T)‑1Tt∑‑1Fn式中，ωtrain，n为第n条训练语音数据的i‑vector，T为总体变化子空间矩阵，∑是对角块为∑c的协方差矩阵，Zn是对角块为Zn，cI的对角阵，Fn是由Fn，c串接而成的向量；1.3)根据每个说话人对应的训练语音数据，提取每个说话人的i‑vector，记为ωs，表达式如下：ωs＝(I+TtZs∑‑1T)‑1Tt∑‑1Fs式中，ωs为第s个说话人的i‑vector，s＝1,2,…，S；Zs为所有属于说话人s的训练语音数据的Zn之和，Fs为所有属于说话人s的训练语音数据的Fn之和，表达式如下：Zs=Σn∈sZn]]>Fs=Σn∈sFn]]>1.4)求取Fisher信息矩阵G；具体包括以下步骤：1.4.1)从所有训练语音数据的特征中随机抽取T个特征，n＝1～N，t＝1～Tn；令ot表示抽取的特征中的第t个特征，t＝1～T；1.4.2)Fisher信息矩阵G的表达式如下：G=Σi=1CΣj=1CTitΣi-1[Σt=1Tγubm,i(ot)γubm,j(ot)(ot-μubm,i)(ot-μubm,i)tΣt=1Tγubm,i(ot)γubm,j(ot)]Σj-1Tjt]]>1.5)训练鉴别式局部保持映射矩阵A；具体步骤如下：1.5.1)根据步骤1.4)求得的Fisher信息矩阵G，将所有训练语音数据的i‑vector映射到高维上，表达式如下：xtrain,n=G12ωtrain,n]]>1.5.2)为所有训练语音数据构建邻接图，包括同类邻接图和异类近邻邻接图；构建同类邻接图如果第i条训练语音数据和第j条训练语音数据来自同一个说话人，则将i和j连接起来，否则不连接；构建异类近邻邻接图计算所有训练语音数据两两之间的距离，第i条训练语音数据和第j条训练语音数据的距离表达式为：||xtrain，i‑xtrain，j||2；找出每条训练语音数据相邻最近的k条训练语音数据，1≤k≤N‑1；如果第i条训练语音数据和第j条训练语音数据来自不同的说话人，并且第i条训练语音数据是和第j条训练语音数据相邻最近的k条训练语音数据中的一条，或者第j条训练语音数据是和第i条训练语音数据相邻最近的k条训练语音数据中的一条，则将i和j连接起来，否则不连接；1.5.3)构建连接权重矩阵；对于同类邻接图构建连接权重矩阵Ww：如果i，j两点相连，则连接权重设为热核连接或直接连接Wω，ij＝1；如果i，j两点不相连，则连接权重Wω，ij＝0；其中σ为调节热核连接大小的参数；对于异类近邻邻接图构建连接权重矩阵Wb：如果i，j两点相连，则连接权重设为热核连接或直接连接Wb，ij＝1；如果i，j两点不相连，则连接权重Wb，ij＝0；1.5.4)假设从高维xtrain到低维ytrain的映射矩阵为A，降维后ytrain的维度为RA，即ytrain＝Axtrain；如果第i条训练语音数据和第j条训练语音数据来自同一个说话人，则降维后使得ytrain，i和ytrain，j距离尽量小，即：min12Σi,jWw,ij||ytrain,i-ytrain,j||2=min12Σi,jWw,ij||Axtrain,i-Axtrain,j||2=min[ΣiAtxtrain,iRw,iixtrain,jA-ΣijAtxtrain,iWw,ijxtrain,jA]=minAtXLwXtA]]>式中，Lω＝Rω‑Wω，Rω＝diag(Rω，ii)，Rω，ii＝∑jWω，ij，X＝[xtrain，1，xtrain，2，…，xtrain，N]；如果第i条训练语音和第j条训练语音来自不同的说话人，则降维后使得ytrain，i和ytrain，j距离尽量大，即：max12Σi,jWb,ij||ytrain,i-ytrain,j||2=maxAtXLbXtA,]]>式中，Lb＝Rb‑Wb，Rb＝diag(Rb，ii)，Rb，ii＝∑jWb，ij；求解：argAmaxAtXLbXtAAtXLwXtA]]>则XLbXtA＝ΛXLωXtA其中，Λ为广义特征值；计算矩阵束(XLbXt，XLωXt)的广义特征值Λ，取出其中最大的RA个特征值及其对应的特征向量；RA个特征向量中每个特征向量对应矩阵的一行，组成鉴别式局部保持映射矩阵A；鉴别式局部保持映射矩阵矩阵A训练完毕；2)说话人确认阶段；具体包括以下步骤：2.1)获取待测语音数据；2.2)重复步骤1.2)，提取该条待测语音数据的i‑vector，记为ωtest；2.3)选定一个训练语音数据的说话人s，根据距离函数K(ωtest，ωs)＝(AGωtest)t(AGωs)计算ωtest和ωs之间的距离；2.4)设定一个距离阈值并判定：若步骤2.3)计算得到的距离大于或等于设定的距离阈值，则判断待测语音数据不属于说话人s；若步骤2.3)计算得到的距离小于设定距离阈值，则判断待测语音数据属于说话人s；说话人确认完成。