[发明专利]端到端语音转写模型的训练方法、系统、装置

权利要求书

1.一种端到端语音转写模型的训练方法，其特征在于，该方法包括以下步骤：

步骤S100，获取语音训练数据和对应的文本标注训练数据，并提取所述语音训练数据的特征，得到语音特征序列；

步骤S200，通过GMM-HMM模型对所述语音特征序列进行强制对齐，得到帧级别的对齐标注，并对所述语音特征序列中各帧语音特征进行拼接处理；

步骤S300，基于拼接处理后的语音特征序列和所述文本标注训练数据，通过端到端语音转写模型获取预设词表中每个词的概率分布；并根据所述概率分布通过前向-后向算法得到负对数损失值；

步骤S400，基于所述对齐标注和所述概率分布，获取对齐损失值；

步骤S500，对所述对齐损失值和所述负对数损失值进行加权平均，得到联合损失值，并根据所述联合损失值通过后向传播算法更新所述端到端语音转写模型的参数；

步骤S600，循环执行步骤S300-S500，直至达到预设的训练结束条件，得到训练好的端到端语音转写模型；

所述对齐损失值，其计算方法为：

其中，L₂为对齐损失值，T是语音特征的帧数，U是文本标注训练数据的长度，所述文本标注数据中每个字定义为标记，K是预设词表中词的个数，t是表示当前解码位于的帧数，u是端到端语音转写模型正在解码第u个语言标记，k是预测结果在预设词表中的位置，是端到端语音转写模型根据第t帧声学编码器的状态和第u个语言预测网络状态预测出空标记的概率，表示预测出非空标记的概率，c_t，u，k是端到端语音转写模型在第t帧第u个文本标记的第k个标记处的对齐标注，取值为0或者1，p(k|t，u)为端到端语音转写模型根据第t帧声学编码器的状态和第u个语言预测网络状态预测出预设词表中第k个标记的概率。

2.根据权利要求1所述的端到端语音转写模型的训练方法，其特征在于，所述端到端语音转写模型基于长短时记忆网络构建，其包括声学编码器、语言预测网络、联合网络；所述声学编码器其结构为4层双向长短时记忆网络；所述语言预测网络其结构为两层单向长短时记忆网络；所述联合网络其结构为前馈神经网络。

3.根据权利要求1所述的端到端语音转写模型的训练方法，其特征在于，步骤S100中“提取所述语音训练数据的特征”，其方法为：所述特征为梅尔频率倒谱系数或梅尔滤波器组系数。

4.根据权利要求1所述的端到端语音转写模型的训练方法，其特征在于，步骤S200中“对所述语音特征序列中各帧语音特征进行拼接处理”，其方法为：获取所述语音特征序列中的第T帧语音特征的前三帧语音特征和后一帧语音特征，与其进行拼接；若第T-3帧语音特征、第T-2帧语音特征、第T-1帧语音特征、第T+1帧语音特征中任一帧语音特征不存在，则将其对应的位置填充为0。

5.根据权利要求1-4任一项所述的端到端语音转写模型的训练方法，其特征在于，步骤S200和步骤S300之间还包括降采样处理步骤：

对所述对齐标注和拼接处理后的语音特征序列中的语音特征进行降采样处理；降采样处理后的每帧语音特征和对齐标注长度相等。

6.根据权利要求1所述的端到端语音转写模型的训练方法，其特征在于，所述负对数损失值，其计算方法为：

L₁＝-ln p(y|x)

其中，L₁为负对数损失值，y为文本标注训练数据，x为语音特征，p()表示概率分布。