[发明专利]基于振幅和相位信息的多目标学习的远场语音识别方法

权利要求书

1.基于振幅和相位信息的多目标学习的远场语音识别方法，其特征在于，包括以下步骤：

1)输入数据准备：分别对训练集、开发集和验证集中的数据进行数据准备；

2)特征提取：

(1)基于振幅信息的特征提取：通过分帧、加窗，并对每一个短时分析窗，通过快速傅里叶变换将信号由时域转换到频域并且得到对应的频谱，然后使用Mel滤波器进行频率的过滤并且以此来模拟人类的感知系统；

(2)基于相位信息的特征提取：提取每一帧语音的相位信息，包括群延迟系统MGDCC以及基于相位域的源分离方法的声道信息PBSFVT两种相位特征；

3)模型训练：将提取到的特征输入到多目标的DNN中，多目标的DNN网络可以同时对两个不同的目标进行学习，从而模拟不同目标之间的共性和差异。

2.根据权利要求1所述的基于振幅和相位信息的多目标学习的远场语音识别方法，其特征在于,所述步骤2)-(2)中基于相位信息的特征提取，包括群延迟系统MGDCC相位特征，具体提取过程如下：在进行语音信号处理的过程中，需要对语音信号的相位部分进行展开求解其负导数，其负导数称为群延迟系数(GDF)；

群延迟函数其本质上是计算连续语谱图的导数的负数；

相位谱特征即非卷绕的相位谱特征可以表示为：

群延迟函数也同样可以被计算为下列的表述形式：

其中:下角标R和I分别表示的实部和虚部两个部分，和Y(ω)分别表示的是x(n)和nx(n)傅里叶转换之后的频域信息；

调整之后的群延迟系数可以计算为：

其中:S(ω)表示X(ω)的平滑版本；

减少频谱的尖峰特性，引入了两个新的变量α和γ来进行消除：

其中:α和γ，其取值范围均在0～1之间。

3.根据权利要求1所述的基于振幅和相位信息的多目标学习的远场语音识别方法，其特征在于,所述步骤2)-(2)中基于相位信息的特征提取，包括基于相位域的源分离方法的声道信息PBSFVT两种相位特征，具体提取过程如下：

使用短时傅里叶变换X(ω)可以被分解为两种：全通相位以及最小相位两个部分：

X(ω)＝|X(ω)|e^jarg{X(ω)}＝X_MinPh(ω)X_Allp(ω)

其中：X_MinPh(ω)和X_Allp(ω)分别表示傅里叶变换之后的X对应的最小相位部分和全通相位部分，并且最小相位和原始语音信号之间存在着下式的关系：

|X(ω)|＝|X_MinPh(ω)|

另一方面，最小相位和全通相位之间的关系为：

arg{X(ω)}＝arg{X_MinPh(ω)}+arg{X_Allp(ω)}

通过希尔伯特变换将语音信号从振幅域变换到相位域中，获得最小相位特征：

通过傅里叶变换后，卷积关系会变成相乘关系，得到下列等式：

将最小相位特征以及声道信息处理方法结合起来，使用源滤波模型在最小相位域的操作进行源滤波操作进行信息分离，将最小相位语音信号分解为声源信息和声道信息，从而得到两者不同的模型。

4.根据权利要求1所述的基于振幅和相位信息的多目标学习的远场语音识别方法，其特征在于,所述步骤3)具体为：构建多任务深度神经网络，将提取的振幅特征和相位特征输入到神经网络中训练，输出增强后语音以及增强后的特征。

5.根据权利要求1所述的基于振幅和相位信息的多目标学习的远场语音识别方法，其特征在于,还包括SRMR测评和语音识别，具体是将DNN输出的增强后的特征进行语音识别，从而得到词错误率，把输出的增强后的语音进行SRMR评测。