[发明专利]一种利用检索增强的非侵入式语音质量评测方法

说明书

本发明涉及计算机处理技术领域，更具体地，涉及一种利用检索增强的非侵入式语音质量评测方法。该方法包括以下步骤：步骤S101，引入在大规模数据集上训练的模型作为预训练模型；步骤S102，将预训练模型作为特征提取器提取语音表征，并将多任务头作为分数解码器在MOS数据集上进行微调；步骤S103，收集表征‑分数键值对构建数据存储集；步骤S104，构建近邻学习网络，为每个语音实例动态调整近邻个数，得到检索分数；步骤S105，构建融合网络，为每个语音实例动态调整预测得分和检索得分比例，获得最终得分。

技术领域

本发明涉及计算机处理技术领域，更具体地，涉及一种利用检索增强的非侵入式语音质量评测方法。

背景技术

语音质量评估是语音技术研究的热点方向，对语音增强、语音合成等领域的发展有重要意义。语音质量评估方法可以分为侵入式评估和非侵入式评估方法。侵入式评估方法以PESQ和POLQA代表，这种方法虽然能获得高质量的评估分数，但是需要干净的参考音频作为对照进行计算，因此在大多数场景中是不适用的。非侵入式语音质量评估不需要参考音频就能获得音频质量，更加方便、快捷、实用。利用深度学习算法预测平均意见得分(meanopinion score，MOS)是典型的非侵入评价方法，它可以以较低的时间和经济成本对语音信号质量进行准确评估。

利用深度学习算法预测MOS分数的模型可以抽象为两个结构：特征提取器和分数解码器。其中特征解码器是指提取音频特征，得到表征向量。分数解码器是指将表征向量解码为平均意见得分。一般而言，特征提取器和分数解码器可以通过循环神经网络、卷积神经网络和全连接神经网络等参数组合实现。但是由于数据集需要人工标注，因此数据集的规模比较小，很容易出现过拟合等问题。研究人员通过在大规模无标签数据集上进行自监督学习的模型如wav2vec2,hubert等作为特征解码器缓解了数据稀疏问题，这种“预训练+微调”方式也成为了目前解决预测平均意见得分的主流算法。

以上介绍了非侵入式语音质量评测方法中的MOS预测挑战、模型结构和经典方法。其中用预训练模型作为特征提取器的方法虽然极大地提高了模型性能，但是只是部分解决了数据稀疏问题，在分数解码器部分，依然只能通过有限的平均意见得分进行训练，造成了整体模型的不仅在域内性能受限，而且解决域外数据时性能会急速下降。

发明内容

为了解决现有方法没有关注到的分数解码器训练中的数据稀疏问题，提升模型对域内和域外语音的质量评估能力，本发明提供一种利用检索增强的非侵入式语音质量评测方法，这种方法在模型的推理阶段引入，通过计算特征的相似度进行分数的预测，不仅可以提升模型在处理域内数据时的表现，而且可以灵活高效地处理跨域问题。

为实现上述目的，本发明采用如下技术方案：

一种利用检索增强的非侵入式语音质量评测方法，包括以下步骤：

步骤S101，引入在大规模数据集上训练的模型作为预训练模型；

步骤S102，将步骤S101引入的预训练模型作为特征提取器提取语音表征，并增加多任务头作为分数解码器在MOS数据集上进行微调；

步骤S103，利用步骤S102微调得到的模型进行推理，收集表征-分数键值对构建数据存储集；

步骤S104，构建近邻学习网络，为每个语音实例动态调整步骤S103中的检索近邻个数，得到检索分数；

步骤S105，构建融合网络，为每个语音实例动态调整步骤S102得到的预测得分和步骤S104得到的检索得分的融合比例，获得最终得分。

本技术方案进一步的优化，所述步骤S101中预训练模型为wav2vec模型。

本技术方案进一步的优化，所述分数解码器设置为回归头和分类头的多任务结构，分类头用于输出评估属于每个质量范围的概率，回归头用于直接回归拟合标签打分。