[发明专利]模型训练方法、装置及电子设备

说明书

本公开实施例提供了一种模型训练方法、装置及电子设备。该方法包括：获取语音样本，利用上述有标签语音样本和上述有标签语音样本的样本标签训练第一初始语音识别模型，得到经训练得到的第一语音识别模型；将上述有标签语音样本和上述无标签语音样本分别输入第一语音识别模型，输出上述语音样本中每条语音样本对应的第一伪标签和第二伪标签，将每条上述语音样本和每条上述语音样本对应的第一伪标签输入第二初始语音识别模型，输出每条上述语音样本的标签预测概率，计算每条上述语音样本的标签预测概率和上述语音样本中每条语音样本对应的第二伪标签之间的交叉熵损失值，当上述交叉熵损失值满足预设条件时，得到经训练得到的第二语音识别模型。

技术领域

本公开涉及计算机技术领域/语音识别技术领域，更具体地，涉及一种模型训练方法、装置及电子设备。

背景技术

自动语音识别(Automatic speech recognition，ASR)是指将人类的讲话内容自动转换为文字的技术。目前语音识别技术已经应用在智能系统的多个方面，例如个人助理和会议转写等。随着深度神经网络技术的快速发展和广泛应用，大词汇量的连续语音识别效果在近年来取得了显著的提升。其中，基于注意力机制的编码-解码器模型(Attentionbased encoder-decoder model)由于其端到端(End-to-end)的特性，极大的简化了语音识别模型在训练和应用上的复杂度，因而成为目前的语音识别的主流方法。基于注意力机制的编码-解码器模型使用深层神经网络来构建编码器(Encoder)和解码器(Decoder)，并配以注意力机制(Attention)来连接两个部分。由于其不对语音的时序独立性做任何假设，且不需要发音词典和复杂的训练流程，故而充分的训练数据成为保证这种模型取得良好识别性能的必要条件。

语音识别领域需求的增长，使得越来越多的语音识别系统需要在资源受限的条件下快速的搭建起来，例如，应用于小语种的语音识别系统。然而，这种情况下开发者通常缺乏充分的带标签的训练数据，而人工的数据标签通常需要付出高昂的成本，相比之下，无标签的语音数据却可以通过互联网和移动终端快速大量地收集。因此，在有标签数据受限的条件下，充分利用无标签语音数据来辅助模型的训练，从而提升语音识别系统的性能，即半监督语音识别(Semi-supervised speech recognition)逐渐成为语音识别领域广泛关注的课题。

在基于注意力机制的编码-解码器模型的框架下，现有的半监督语音识别方法可以分为两大类。第一类方法涉及以重建语音信号的方式来使用无标签的语音数据，通常包含一个额外的模块实现这种功能，例如语音合成(Text-to-speech，TTS)模块。在这类方法中，无标签数据先经过语音识别的部分网络来得到隐层表示，再通过附加的模块来映射回语音信号，以此来使语音识别网络学习到更好的表达能力。在一定程度上促进识别性能的同时，这类方法也面临着辅助任务不匹配(重建损失函数与识别损失函数不匹配)、梯度回传不畅(识别网络的输出使离散符号，梯度难以从此回传至识别网络内部)的问题和挑战。

另一类方法不引入任何附加的模块和损失函数，而是通过给无标签数据样本添加伪标签的方式，把它们看作是有标签数据来共同训练，因此被称作伪标签(Pseudo-labeling)法。这类方法通常需要先使用一个已有的语音识别模型来为无标签数据生成伪标签，然后再将所有数据和它们的标签一起训练一个新的模型。已有的模型通常是在资源受限的条件下使用有标签数据训练得到的，称之为教师模型(Teacher model)，新模型对应地称为学生模型(Student model)，因此这类方法又被成为教师-学生(Teacher-studentlearning)方法。一个典型的情况是教师和学生公用同一种模型结构，在这种情景下该方法又被称为自训练(Self-training)法。在伪标签法中，如何在教师模型性能受限的条件下提升伪标签的质量，为学生模型提供更好的监督信息，成为最终促进语音识别性能的关键。