[发明专利]一种语音识别模型的生成方法、装置及电子设备

说明书

本公开关于一种语音识别模型的生成方法、装置及电子设备，用于提高模型识别的准确率和识别效果。该方法包括：获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。

技术领域

本公开涉及语音识别技术领域，尤其涉及一种语音识别模型的生成方法、装置及电子设备。

背景技术

目前主流的语音识别框架为基于编解码注意力机制的端到端框架，例如语音识别神经网络(Listen Attend and Spell，LAS)模型，该模型包括编码、解码、注意力机制三部分功能，编码用于对语音的特征帧进行建模，获取声学的高层信息表示，解码用于建模语言信息，在给定上一时刻的输出，结合声学表示预测当前时刻的输出，注意力机制用于在语言和声学之间建立联系，从声学表示中抽取和当前语言相关的内容。该模型把传统模型的词典模型、声学模型、语言模型、解码模型都融合在一个神经网络模型中，同时学习声学和语言两方面的信息，属于目前为止较有潜力的端到端框架。

但目前的端到端框架计算资源消耗大、并行计算困难，并且通过语音识别神经网络模型进行语音识别时，会存在上一时刻的输出错误导致错误的累积，模型的识别准确率较低，识别效果较差。

发明内容

本公开提供了一种语音识别模型的生成方法、装置及电子设备，用于在基于自注意力机制的编解码器模型中，利用自注意力机制完成对语音的编解码，并且在模型生成的过程中，在所述语音帧序列对应的标注文本序列与编解码器模型输出端反馈的预测文本序列之间按照预设概率进行采样，将错误的预测文本加入到模型生成的过程中，能够解决在上一帧预测文本错误时仍能够在下一帧得到正确的预测文本，缓解由于错误累积带来的误差累积，提高模型识别的准确率和识别效果。

第一方面，本公开提供一种语音识别模型的生成方法，该方法包括：

获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；

将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；

将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。

作为一种可能的实施方式，所述获取训练样本步骤包括：

获取语音信号并进行语音特征提取，得到初始语音帧序列；

对所述初始语音帧序列中语音帧进行拼帧，并下采样拼帧后的语音帧，得到语音帧序列。

作为一种可能的实施方式，所述预设概率根据所述解码器输出的预测文本序列的准确率确定。

作为一种可能的实施方式，所述根据所述解码器输出的预测文本序列的准确率确定所述预设概率步骤包括：

根据解码器输出的预测文本序列的准确率的大小，按照正比关系确定采样预测文本序列的预设概率，按照反比关系确定采样标注文本序列的预设概率。

作为一种可能的实施方式，还包括：

确定所述当前预测文本序列与对应的标注文本序列的接近程度满足预设值，及确定所述当前预测文本序列中的字错误率CER满足预设值时，结束对所述语音识别模型的训练。