[发明专利]一种基于多任务学习提高方言识别准确率的分类识别方法

说明书

一种基于多任务学习提高方言识别准确率的分类识别方法。首先提取各类方言音频的多种语音特征，接着利用提取到的特征信息输入神经网络模型进行训练得到各类方言的神经网络模型。然后提出了一种基于方言音频特征选择和模型选择的融合筛选方法。选择出一组分类性能最好的单模型，再在该单模型的基础上使用多任务学习方法，通过联合训练得到不同方言语种的多任务神经网络模型，进而提高总体方言分类的准确率。最后在方言分类的结果基础之上，将方言输入到该方言语种特定的语言模型上，实现方言翻译语音转写等功能。

技术领域

本发明属于语音识别技术领域，涉及深度学习神经网络，深度多任务学习神经网络，声学模型，语言模型，语言字典，具体涉及一种基于多任务学习提高方言识别准确率的分类识别方法。

背景技术

在自然语言处理领域，做好语音的识别工作对人机交互有着重要的意义。同理，每个国家尤其中国这样的多民族国家，方言是丰富多彩的，而且多数情况下很多方言，比如：南北方言，闽南话和普通话等还是有着很大的差异的。因此，做好中国方言分类，对保护中国方言，对更好的利用方言交流有着非凡的意义。对于应用方言分类结果提高方言翻译和方言转换精度等工作都有贡献，还可以提高与用户相关的方言类产品的用户体验。总之，方言研究在未来会给我们带来很大的贡献。

早先传统的语音识别方法大部分是基于隐马尔科夫模型的方法研究，随着深度学习的浪潮，深度神经网络RNN，LSTM，CNN等都在语音研究工作中发挥了出色的作用。方言识别作为语音领域的一个分支，与语音处理有许多的相似之处。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种基于多任务学习提高方言识别准确率的分类识别方法，基于筛选最优特征和最优单模型的方法结合多任务学习训练关于方言语种分类的多任务深度学习模型，共享不同方言之间的相关特征信息，让神经网络模型能够学习到更多的信息，从而达到提高分类准确率的目的。在方言的分类基础上，将方言输入到特定语料库搭建的语言模型，实现方言识别和转写，提高方言翻译和转写的识别准确率。

为了实现上述目的，本发明采用的技术方案是：

一种基于多任务学习提高方言识别准确率的分类识别方法，包括以下步骤：

1)基于方言音频的两种常用特征MFCC和FBank，用HTK工具包或者Kaldi语音识别工具提取出方言音频的MFCC特征和Fbank特征，产生三组特征集合分别为：MFCC、Fbank、MFCC+Fbank(以下简称MF)；

2)在基于步骤1)处理后，得到的特征集合结合以下模型做最优单模型筛选，模型包含：DNN、LSTM、BiLSTM、GRU、ResNet18、ResNet50，将特征集合和模型的组合成十八种组合模型，对十八种组合模型分别进行训练，根据方言识别的错词率和正确率的判别准则考量模型优劣进行排序，找到一个最优的组合模型并定义为Linearly Language Net模型，简称LLN模型；

所述的十八种组合模型组合如下：M-D、F-D、MF-D、M-L、F-L、MF-L、M-BL、F-BL、MF-BL、M-G、F-G、MF-G、M-R18、F-R18、MF-R18、M-R50、F-R50、MF-R50，其中，M表示MFCC，F表示Fbank，MF表示MFCC+Fbank；D表示DNN，L表示LSTM，BL表示BiLSTM，G表示GRU，R18表示ResNet18，R50表示ResNet50；

3)根据步骤2)的方法将每个语种训练出一个LLN模型，每个LLN模型会有一个该模型即该语种的loss损失函数，将每个LLN模型的最后一层输入到同一层神经元，之后再经过两层的全连接层，联合训练所有LLN任务，联合loss的训练准测公式为：其中，Loss_sum表示所有任务总的loss损失，n代表任务个数，L_T表示任务T的loss；