[发明专利]基于TCN-Transformer-CTC的端到端中文语音识别方法

说明书

本发明提供了基于TCN‑Transformer‑CTC的端到端中文语音识别方法，属于语音识别领域。针对目前现有技术的问题，本发明首先提出使用时序卷积神经网络(TCN)来加强神经网络模型对位置信息的捕捉，其次在上述基础上融合连接时序分类(CTC)，提出了识别中效果更好，泛化性更强的TCN‑Transformer‑CTC模型。不使用任何语言模型的情况下，在希尔贝壳中文普通话开源语音数据库AISHELL‑1上的实验结果表明:TCN‑Transformer‑CTC相较于Transformer字错误率相对降低10.91％，模型最终字错误率为5.31％。

技术领域

本发明属于语音识别领域，具体涉及一种TCN-Transformer-CTC的端到端中文语音识别方法。

背景技术

自动语言识别(Automatic Speech Recognition,ASR)技术可以让人与人、人与机器更顺畅的交流，目前，随着语音识别技术快速发展，语音识别技术在智能客服、智能家具、车载系统、机器人等领域广泛应用。传统的连续语音识别系统是由多个复杂的模块组成，包括训练基于隐马尔可夫模型(HMM)的声学模型，构建发音字典以及语言模型，因此是一项复杂的工程。其一般步骤为，首先需要专业语言学家设计的发音字典，然后将声学模型产生的音素序列映射到单词序列，进而使用大量文本数据训练的语言模型对单词序列进行打分，最终得出最后的预测文本。

传统的语音识别模型的处理流程复杂，近年来，伴随着计算能力的提高以及数据资源的扩展，端到端的语音识别系统将声学模型、发音字典、语言模型集成到单个系统中共同训练，极大地简化了训练和推理过程，因此成为当前的研究热点。一般的端到端语音识别系统主要有：连接主义时序分类(Connectionist temporal classification,CTC)和基于注意机制(attention)的系统。基于两种方法的ASR系统都可以解决语音识别中输入和输出序列的变化长度的问题。基于CTC的模型将语音识别看做分类问题，每一声学输入帧对应一个输出标签，利用重复标签和空白标签来鉴别没有输出标签的声学帧，可以很好的实现对齐问题，但CTC在输出标签之间有很强的独立性假设，忽略了上下文联系，因此在没有强大的语言模型情况下不能表现良好。另一方面，基于attention的编解码器模型直接将声学帧序列映射到标签序列，同时在解码器中考虑了输出标签的上下文关系，所以效果一般比基于CTC的模型效果好，但在实际场景中，由于噪音的影响会导致注意力的对齐机制崩溃，从而结果不如预期。同时结合attention模型和CTC模型优势的混合attention/CTC端到端模型引起了研究人员的关注，在训练过程中，CTC作为基于attention的编解码器模型的辅助训练任务，可以加快模型的收敛速度以及提高模型准确度，他们将CTC应用于基于attention的循环神经网络(Recurrent Neural Network,RNN)编解码器模型中，但RNN的顺序性限制了训练的计算并行化，在处理语音这种长序列输入时相当耗时。Linhao Dong等人[Watanabe S,Hori T,Kim S,et al.Hybrid CTC/attention architecture for end-to-end speech recognition[J].IEEE Journal of Selected Topics in SignalProcessing,2017,11(8):1240-1253.]提出基于Transformer的端到端语音识别模型，其编码器，解码器基本模块都是自我注意力(self-attention)，不同于RNN一一计算位置链来绘制不同位置之间的依赖关系，self-attention通过位置对获取时序信息，只需要计算一次即可获得变换表示，省去了RNN中逐个计算步骤，因此可以通过更多的并行化训练。基于Transformer的语音识别模型在获得更快的训练的速度同时可以获得与基于RNN编解码器的模型相媲美的识别率。但由于Transformer中的多头自主力机制对位置信息不敏感，所以引入相应的位置编码(Position Encoding)，随后Alex Bie[Zhou S,Dong L,Xu S,etal.Syllable-based se-quence-to-sequence speech recognition with the tr·ansformer in mandarin chinese[J].arXiv preprint arXiv:1804.10752,2018.]等人的工作指出位置信息会随着网络层的增加而逐渐丢失，以及卷积神经网络(ConvolutionalNeural Network,CNN)替代Position Encoding获取位置信息可以提升模型效果。