[发明专利]基于PESQ驱动的强化学习估计先验信噪比的语音增强方法

权利要求书

1.基于PESQ驱动的强化学习估计先验信噪比的语音增强方法，其特征在于，该方法包括以下步骤：

步骤1，使用训练集中的清晰语音和噪声以随机信噪比合成模拟含噪语音，并对三者做短时傅里叶变换分别得到清晰语音短时傅里叶谱、噪声短时傅里叶谱和模拟含噪语音短时傅里叶谱；

步骤2，使用所述清晰语音短时傅里叶谱和模拟含噪语音短时傅里叶谱训练Deep Xi-TCN网络；

步骤3，利用所述清晰语音短时傅里叶谱幅度和噪声短时傅立叶谱幅度相除，并将其范围映射到[0,1]，生成训练集的映射信噪比，然后通过K-means聚类生成有限个聚类中心，作为先验信噪比模板；

步骤4，利用所述先验信噪比模板给所述模拟含噪语音的每帧打标签，用以训练DQN网络初始化参数；

步骤5，正式训练阶段，通过所述DQN网络在帧层面挑选信噪比模板，信噪比模板为步骤2完成训练的Deep Xi-TCN网络推断的信噪比或者步骤3生成的先验信噪比模板；然后计算出与PESQ值相关的奖励，进行强化学习迭代，更新所述DQN网络参数；

步骤6，将测试集清晰语音和噪声合成的含噪语音短时傅里叶谱输入步骤5完成训练的DQN网络，并将得到的增强语音的短时傅里叶谱进行逆短时傅里叶变换，得到增强语音的时域信号。

2.根据权利要求1所述的基于PESQ驱动的强化学习估计先验信噪比的语音增强方法，其特征在于，步骤2中，所述Deep Xi-TCN网络的输入数据首先经过一个全连接输入层，然后通过若干个残差块，再通过一个全连接输出层输出估计的映射信噪比；其中每个残差块包括三层激活函数为ReLU并且带层正则化的一维卷积网络，可实现时频域块的二维特征提取。

3.根据权利要求1所述的基于PESQ驱动的强化学习估计先验信噪比的语音增强方法，其特征在于，步骤4中，利用所述先验信噪比模板给所述模拟含噪语音的每帧打标签的具体步骤为：通过均方误差法则去判断每帧所有频点的理想信噪比和模板信噪比之间的距离，取距离最小的模板的编号m为相应帧的标签；从1到M的索引号被用作训练集中相应帧的标签。

4.根据权利要求1所述的基于PESQ驱动的强化学习估计先验信噪比的语音增强方法，其特征在于，步骤5中存在两个具有不同更新速率的DQN网络：在每个迭代中更新的网络被称为评估DQN网络，而定期复制其参数的网络被称为目标DQN网络；利用双Q策略计算出与PESQ值相关的奖励，奖励设置如下：

评估DQN网络和目标DQN网络之间的相对PESQ值其中α0是放缩参数，和是根据目标DQN网络和评估DQN网络的估计语音计算出的PESQ值；考虑到先验信噪比是随时间变化的，而且PESQ值不能在一帧内计算，因此需要对多帧计算随时间变化的奖励，在奖励计算中利用时间权重E_l∈[0,1]，即

其中k是离散频域序号，l’是第l帧前后P帧的帧序号，2P+1是上下文窗长的大小；S_l'[k]是清晰语音的频谱，Y_l'[k]是含噪语音的频谱，是用DQN网络推断的先验信噪比选项；

通过对比目前进行迭代的评估DQN网络的推断结果和滞后更新的目标DQN网络的推断结果，结果更好则网络的对应节点获得相应的奖励，反之则惩罚。

5.根据权利要求4所述的基于PESQ驱动的强化学习估计先验信噪比的语音增强方法，其特征在于，所述评估DQN网络迭代的行为-价值函数，即Q函数的期望的Q值按以下规则更新：

其中，Q(R_l,a_l)是目标DQN网络估计的Q值，Q′(R_l,a_l)是评估DQN网络估计的Q值，是评估DQN网络的期望的Q值。