[发明专利]新型多任务联合的语音识别训练架构和方法

说明书

本发明公开了一种新型多任务联合的语音识别训练架构和方法，属于智能语音领域，包括Seq2seq模型和联结时序分类模型，Seq2seq模型用于编码语音或频谱，提取高维特征，根据上下文向量、注意力向量以及输入标签来逐步解码，并输出发音单元；所述联结时序分类模型用于辅助训练所述Seq2seq模型的语音、发音对齐，按照权重计算损失值，根据所述Seq2seq模型的损失值得到总损失值，使用反向传播算法更新所述Seq2seq模型的参数。联结时序分类部分能帮助Seq2seq模型在音频和文字间单调对齐，同时能使注意力模块更快收敛，减少了训练阶段和推理阶段的无规律的对齐。

技术领域

本发明涉及语音识别技术领域，特别是指一种新型多任务联合的语音识别训练架构和方法。

背景技术

语音识别(Automatic Speech Recognition，ASR)，是一种可以将语音信号转换成文字的技术，语音识别技术和语音合成技术(Text-To-Speech,TTS)共同成为智能语音交互中不可或缺的技术。语音合成是机器的嘴巴，是让机器说得出；语音识别是机器的耳朵，让机器听得懂。无论是语音输入、实时字幕、语音助手、同传等需求和应用场景，语音识别技术都在发挥着越来越大的作用。

语音识别主要分为两个模块：声学模型(语音->拼音)，语言模型(拼音->汉字)。语音识别主要方法有：HMM-GMM(图1所示)和深度学习方法。深度学习方法又包括Seq2seq模型和联结时序分类(Connectionist Temporal Classification, CTC)两种，Seq2seq模型的原理如图2，简化图如图3所示。

1、联结时序分类模型

业界普遍使用窄而深的神经网络结构来拟合频谱特征，使用联结时序分类作为对齐工具。

缺点:缺乏语言建模能力，不能整合语言模型进行联合优化；不能建模模型输出之间的依赖关系；要求符合条件独立的假设。

优点:具备单调对齐特性。

2、Seq2seq模型

Seq2seq模型包含三个模块:编码器、注意力模块、解码器。Seq2seq模型利用编码器部分提取语音(或频谱)的高维特征，用解码器输出发音单元(音素、拼音、汉字)，用注意力模块作为语音帧与发音单元的对齐工具。

优点:效果十分不错。

缺点：过于灵活，缺乏对单调对齐的强制约束，较难学习，因为较长的输入序列与较短的输出序列之间很难对齐，而且attention部分在噪音环境下表现不好，易受干扰。

现有技术中没有将二者组合的技术方案。

发明内容

本发明提出一种新型多任务联合的语音识别训练架构和方法，用联结时序分类作为辅助训练任务帮助训练Seq2seq模型，编码器部分也会被联结时序分类共享，联结时序分类部分能帮助Seq2seq模型在音频和文字间单调对齐，同时能使注意力模块更快收敛，减少了训练阶段和推理阶段的无规律的对齐。

本发明的技术方案是这样实现的：

一种新型多任务联合的语音识别训练架构，包括Seq2seq模型和联结时序分类模型，所述Seq2seq模型用于编码语音或频谱，提取高维特征，根据上下文向量、注意力向量以及输入标签来逐步解码，并输出发音单元；所述联结时序分类模型用于辅助训练所述Seq2seq模型的语音、发音对齐，按照权重计算损失值，根据所述Seq2seq模型的损失值得到总损失值，使用反向传播算法更新所述 Seq2seq模型的参数。