[发明专利]语音识别中端到端的语音的置信度估计方法及装置

说明书

本发明涉及语音处理技术领域，具体提供一种语音识别中端到端的语音的置信度估计方法及装置，旨在解决现有技术中使用基于softmax概率进行置信度估计时存在的过度自信的问题，即存在识别率差的字符，导致最终输出的置信分数较高的问题。为此目的，本发明的语音识别中端到端的语音的置信度估计方法，包括：提取音频数据的第一声学特征向量；将所述第一声学特征向量输入编码器得到对应的第一编码特征；将所述第一编码特征分别输入到解码器和置信度估计模型，分别输出第一语音识别结果和对应的第一置信度。该方法可以得到准确率更高的置信度的值，使得置信度的值具有更高的参考价值。

技术领域

本发明涉及语音处理技术领域，具体提供一种语音识别中端到端的语音的置信度估计方法及装置、控制装置和存储介质。

背景技术

语音识别是一种让机器通过识别和理解过程把语音信号转变为相应的文本或命令的人工智能技术。由于现有的语音识别技术还无法完全正确地识别出语音内容，因此通常使用置信度来表示识别结果的可靠性。置信度对于评估语音识别的准确性有着非常重要的参考价值，许多的语音识别相关的应用通过控制置信度的阈值来减少语音识别的错误，在对话系统中，置信度作为准确性的参考，可以返回给用户，用户看到置信度的值后，对语音识别的准确性有了把握。

传统的置信度计算方法主要包括基于预测特征的方法(PredictorfeaturesbasedCM)和基于后验概率的方法(Posterior based CM)。但是由于端到端系统在解码过程中无法直接利用词图信息和语言模型的信息，而是通过将解码器每一步的softmax概率作为输出字符的置信度估计分数。然而，基于softmax概率进行置信度估计，存在过度自信的问题，即识别率差的字符，输出的置信分数也会比较高，因此使用softmax概率进行置信度估计在实际中应用效果很不理想，故端到端语音识别系统的置信度估计效果很差。

相应地，本领域需要一种新的语音识别中端到端的语音的置信度估计方案来解决上述问题。

发明内容

本发明旨在解决上述技术问题，即，解决现有技术中使用基于softmax概率进行置信度估计时存在的过度自信的问题，即存在识别率差的字符，导致最终输出的置信分数较高的问题，本发明提供了一种语音识别中端到端的语音的置信度估计方法及装置、控制装置和存储介质。

在第一方面，本发明提供一种语音识别中端到端的语音的置信度估计方法，该置信度估计方法包括：

提取音频数据的第一声学特征向量；

将所述第一声学特征向量输入编码器得到对应的第一编码特征；

将所述第一编码特征分别输入到解码器和置信度估计模型，分别输出第一语音识别结果和对应的第一置信度。

在上述语音识别中端到端的语音的置信度估计方法的一个技术方案中，在将所述第一编码特征分别输入到解码器和置信度估计模型，分别输出第一语音识别结果和对应的第一置信度之前，所述方法还包括：

根据编码器基于音频训练样本输出的第二编码特征和根据解码器基于第二编码特征输出的第二识别结果对所述置信度估计模型进行训练。

在上述语音识别中端到端的语音的置信度估计方法的一个技术方案中，根据编码器基于音频训练样本输出的第二编码特征和根据解码器基于第二编码特征输出的第二识别结果对所述置信度估计模型进行训练，包括：

获取音频训练样本以及对应的标注文本；

提取所述音频训练样本的第二声学特征向量；

将所述第二声学特征向量输入编码器得到对应的第二编码特征；

将所述第二编码特征分别输入到解码器和置信度估计模型，分别输出第二识别结果和第二置信度；

将所述第二识别结果与所述标注文本进行比较，得到所述第二识别结果对应的置信度标签；