[发明专利]多任务语音识别后的处理方法及系统

说明书

本发明公开一种多任务语音识别后处理方法及系统，方法包括：获取语音识别所输出的当前字信息、当前词信息、当前词性信息及当前人工抽取特征。上述特征输入多任务神经网络模型中。多任务神经网络模型输出每个当前字的逆文本转换标记。根据当前字的逆文本转换标记及设定的逆文本转换规格获取当前字的逆文本转换结果。根据当前字的顺滑概率及当前字后面应该标注设定标点的概率调整当前字的逆文本转换结果，获取语音识别后的处理结果。本发明通过一个网络进行多任务建模，使运行速度及处理更快。识别文本更加人性化。本发明中人机交互更加自然，运用学习能力更强的mask attention网络以及添加了网络输出策略。

技术领域

本发明属于语音识别技术领域，尤其涉及一种多任务语音识别后的处理方法及系统。

背景技术

目前关于语音识别后处理的系统比较少，主要是一些比较大的语音识别公司在做这方面的研究，例如讯飞申请过语音识别后处理相关的专利。但是这些系统大都关注于语音识别识别结果的错误纠正，而通过其它方式可以有效增加识别率的情况下，如何提高用户体验变得更加重要。本文中提到的语音识别后处理系统主要是基于一个多任务的深度学习模型对识别结果进行顺滑、ITN及添加标点，让识别结果更加友好，符合人类日常认知习惯。现在也有一部分公司做了识别文本的顺滑、ITN及添加标点，但都是分别多个模型做的，非常耗费资源。我们的系统通过一个深度模型做三件事情，有效降低资源消耗，并提高正确率。

现在做语音识别文本ITN的大多数是通过的机器学习方法加规则或者单纯规则匹配的方法实现文本逆向转换。文本顺滑技术以讯飞和哈工大联合推出的基于转移的顺滑算法目前是在该领域做的比较好的。我们的系统也借鉴了该方法。文本添加标点方面的研究比较多，最近几年效果比较好的基本上都是基于深度学习的方法，包括：lstm+crf、transformer等方法。单纯在标点上取得的效果都不错。

机器学习加规则的方法做ITN任务，如果想得到好的效果，则模型的复杂度会上升，导致延时增大。单纯规则的方法随着规则增加消耗的时间也比较大。单独标点和顺滑的神经网络模型系统不能兼顾顺滑和标点之间的关系。这三种提到的技术有一个通用的缺点就是功能单一，同一个模型或方法只能做一件事情，同时实现这三个功能的话，一条识别文本要处理三次，延时大。

为了ITN提高精度的情况下必然要增大机器学习算法的复杂度或规则的复，杂度，这样导致延时增大。单独标点和顺滑的神经网络模型系统不能兼顾的原因是没有添加统一的策略把两个任务做到一起。而且如果把三种技术做到一个语音识别后处理系统中，必然要对识别文本做三次处理，所以增加整个后处理的时延。

对于上面提到的时延增大的问题，大多数公司采用的是单个后处理模块压缩的方式。ITN如果是基于规则的会改变搜索方式等，但是这种方式收效较小。如果ITN、文本顺滑、文本标点添加是基于深度学习的方式，都是对模型进行裁剪或者参数量化的方式进行压缩。这种方式会带来性能上的损失。

发明内容

本发明实施例提供一种多任务语音识别后的处理方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明提供了一种多任务语音识别后的处理方法，包括：

步骤S101，获取语音识别所输出的当前字信息、当前词信息、当前词性信息及当前人工抽取特征。

步骤S102，将当前字信息、当前词信息、当前词性信息及当前人工抽取特征输入多任务神经网络模型中。多任务神经网络模型通过Mask神经网络中的attention注意力机制对ITN、文本顺滑标记及标点进行多任务建模。

步骤S103，多任务神经网络模型输出每个当前字的逆文本转换标记、输出对每个当前字是否被顺滑的顺滑概率及输出对每个当前字后面应该标注设定标点的概率。逆文本转换标记包括需要转换标识及不需要转换标识。

步骤S104，根据当前字的逆文本转换标记及设定的逆文本转换规格获取当前字的逆文本转换结果。