[发明专利]语音识别模型训练方法和装置、语音识别方法、介质

说明书

本实施例涉及人工智能技术领域，尤其涉及语音识别模型训练方法和装置、语音识别方法、介质。语音识别模型训练方法包括：获取语音特征序列和带空白标志的逐帧字母序列；根据语音特征序列生成全局特征序列；根据语音特征序列、全局特征序列和逐帧字母序列，得到连接时间分类损失函数；根据语音特征序列和全局特征序列，得到注意力损失函数；根据连接时间分类损失函数以及注意力损失函数对语音识别模型的参数进行更新，得到训练完成的语音识别模型。本申请实施例的技术方案，通过引入连接时间分类损失函数和注意力损失函数，能够简化语音识别模型的训练步骤、提高模型生成对话的效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种语音识别模型训练方法和装置、语音识别方法、介质。

背景技术

自动语音识别技术(Automatic Speech Recognition，ASR)由于其建模流程简单和良好的性能，已经逐步替代传统的深度神经网络(Deep Neural Networks，DNN)和隐马尔可夫模型(Hidden Markov Model，HMM)系统。ASR避免了对语音词典、文本对齐和上下文依赖树等资源的需求，从而大大简化了模型构建过程。其中，ASR有两种主要的端到端架构：基于注意力的方法使用注意力机制在声学帧和识别符号之间执行对齐；而连接主义时间分类(Connectionist Temporal Classification，CTC)使用马尔可夫假设通过动态规划有效地解决序列问题。

目前，基于注意力和CTC结构的端到端ASR联合解码算法有效地利用了注意力机制和CTC建模，取得了更优的模型性能，但是在应用于长时建模时，会因长时序列中相似序列的大量存在，会导致注意力机制过多的权重依赖，从而导致了注意力机制的无序性，使语音识别模型的训练步骤复杂化，影响模型生成对话的效率。

发明内容

本公开实施例的主要目的在于提出语音识别模型训练方法和装置、语音识别方法、介质，能够简化语音识别模型的训练步骤，提高模型生成对话的效率。

为实现上述目的，本公开实施例的第一方面提出了一种语音识别模型训练方法，用于训练语音识别模型，所述方法包括：

获取语音特征序列和带空白标志的逐帧字母序列；

根据所述语音特征序列生成全局特征序列；

根据所述语音特征序列、所述全局特征序列和所述逐帧字母序列，得到连接时间分类损失函数；

根据所述语音特征序列和所述全局特征序列，得到注意力损失函数；

根据所述连接时间分类损失函数以及所述注意力损失函数对所述语音识别模型的参数进行更新，得到训练完成的语音识别模型。

在一些实施例中，所述根据所述语音特征序列生成全局特征序列，包括：

所述语音特征序列经过编码器内的若干个卷积增强变换器处理，得到所述全局特征序列，其中，所述卷积增强变换器内设有两个所述前馈模块，且所述卷积增强变换器的卷积层和注意层位于两个所述前馈模块之间。

在一些实施例中，所述根据所述语音特征序列、所述全局特征序列和所述逐帧字母序列，得到连接时间分类损失函数，包括：

根据概率链规则对所述语音特征序列、所述全局特征序列和所述逐帧字母序列进行条件独立性假设，得到所述语音特征序列与所述全局特征序列的连接时间分类后验分布；

根据所述连接时间分类后验分布，获取连接时间分类目标函数；

根据所述连接时间分类后验分布和所述连接时间分类目标函数，获取连接时间分类损失函数。

在一些实施例中，述根据所述连接时间分类后验分布和所述连接时间分类目标函数，获取连接时间分类损失函数，包括：