[发明专利]一种对比预测编码自监督结构联合训练的语音识别方法

权利要求书

1.一种对比预测编码自监督结构联合训练的语音识别方法，其特征在于，包括：

获取无标签和有标签的语音数据集，并进行预处理；

构建包含语音识别主任务和对比预测编码自监督结构联合训练的模型；

对预处理得到的无标签语音数据集的训练集、以及有标签语音数据集的训练集各自进行特征提取，获得相应的语音特征向量，并将两个训练集对应的语音特征向量各自输入至对比预测编码自监督结构、语音识别主任务，从而对模型进行联合训练；

将待识别的语音数据输入至训练后的模型，获得语音识别结果；

所述对比预测编码自监督结构的损失函数为对比损失函数，记为语音识别主任务的损失函数为CTC损失函数，记为

联合训练的总损失函数为：

其中，λ为对比损失函数的权重系数；为来自无标签的语音数据集{X₁}的训练集，为来自有标签的语音数据集{X₂,Y₂}的训练集，X为语音数据，Y为语音标签数据；

所述对比损失函数的计算公式为：

其中，k为步长，K是最大步长，i+k小于等于训练集的总帧长，为训练集的语音特征向量，为语音特征向量经过上下文网络得到的上下文表征；z_i+k为语音特征向量的第i+k帧，c_i为上下文表征的第i帧，z^*为随机采样的语音帧x^*的语音特征向量。

2.根据权利要求1所述的一种对比预测编码自监督结构联合训练的语音识别方法，其特征在于，将无标签和有标签的语音数据集，分别记为{X₁}、{X₂,Y₂}；其中，X为语音数据，Y为语音标签数据；将无标签语音数据集划分为训练集与验证集，将有标签的语音数据集划分为训练集、两个验证集及两个测试集；训练集、验证集、测试集各自应用于模型的训练、验证及测试。

3.根据权利要求2所述的一种对比预测编码自监督结构联合训练的语音识别方法，其特征在于，

模型训练时使用Adam优化器，迭代训练到模型收敛或达到预设的训练步数；

之后，通过无标签语音数据集的验证集、以及有标签语音数据集的两个验证集验证训练后的模型的性能，以及通过有标签语音数据集的两个测试集统计训练后的模型的词错率，作为模型的评价指标。

4.根据权利要求1所述的一种对比预测编码自监督结构联合训练的语音识别方法，其特征在于，所述语音识别主任务包括：Transformer模型的语音识别任务。