[发明专利]端到端架构的通用场景中文普通话语音识别方法

权利要求书

1.一种端到端架构的通用场景中文普通话语音识别方法，其特征在于，包括如下步骤：

S1，分别训练语音增强模型和语音识别模型；所述语音识别模型包括语音识别声学模型和语音识别语言模型，其中，所述语音识别声学模型使用的是混合CTC和注意力机制的模型，所述语音识别语言模型使用的是双向循环神经网络模型；

S2，提取整段待测语音，按照语音活性检测方切分成若干固定时长的语音段落，包括无语音段落和有语音段落，并对所有语音段落进行序号标记；同时计算出所有语音段落的信噪比，并通过计算出的信噪比进行判断：将信噪比低于设定阀值的语音段落输入语音增强模型，否则执行步骤S4；

S3，语音增强模型对输入其中的语音段落进行降噪后，执行步骤S4；

S4，对步骤S2中信噪比不低于设定阈值的语音段落，以及步骤S3中进行降噪后的语音段落进行语音预处理，提取每个语音段落的MFCC特征参数；然后将MFCC特征参数输入语音识别模型；

S5，语音识别模型中，先经过语音识别声学模型对MFCC特征参数进行识别，得到词序列token；然后经过语音识别语言模型对词序列token进行解码纠正，得到每个语音段落的语音文本；

S6，按照所有语音段落的序号标记合并每个语音段落的语音文本，得到整段待测语音的整个文本。

2.根据权利要求1所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，步骤S1中，训练语音识别声学模型的数据集是中文普通话语音数据集，训练语音识别语言模型的数据集是中文普通话文本数据集，训练语音增强模型的数据集为中文普通话带噪音语音数据集。

3.根据权利要求2所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，所述中文普通话录音数据集是指对获取的中文普通话录音进行音频编码一致和采样率一致处理后得到的数据集。

4.根据权利要求3所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，所述中文普通话文本数据集的构建方法为，利用中文普通话录音文本建立中文普通话文本数据集：编写脚本自动去除中文普通话录音文本中的非法字符和非中文字符，其中，对于数字文本自动转成对应中文文本。

5.根据权利要求3所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，所述中文普通话带噪音语音数据集的构建方法为，利用中文普通话语音数据集建立中文普通话带噪音语音数据集：将中文普通话语音数据集中的中文普通话语音和多种噪音按照两种分贝混合叠加成带噪音语音。

6.根据权利要求2所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，步骤S1中训练语音增强模型的方法为：将中文普通话带噪音语音数据集中每句话提取为多个语音帧，通过频域变换、去相位和提取参数后，导入全连接神经网络模型训练得到语音增强模型。

7.根据权利要求2所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，步骤S1中训练语音识别声学模型的方法为：将中文普通话语音数据集中的中文普通话语音切分成固定时长的语音段落，并提取每个语音段落的MFCC特征参数，然后将MFCC特征参数经过特征归一化处理计算后输入混合CTC和注意力机制的模型进行训练；其中，模型的目标函数通过多目标学习求解得到，该目标函数由CTC的目标函数和注意力机制的目标函数联合组成，两者之间通过设定的比例分配学习权重，在训练过程中，按照两个目标函数的权重分别进行调优，同时使用同步机制同步学习数据迭代更新，完成训练后得到语音识别声学模型。

8.根据权利要求2所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，步骤S1中训练语音识别语言模型的方法为：将中文普通话文本数据集中的中文普通话文本转换成多个词向量，并将词向量导入双向循环神经网络模型，训练达到设定的目标或者训练轮次后，得到语音识别语言模型。

9.根据权利要求1或8所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，所述双向循环神经网络模型是指双向RNN和LSTM模型。

10.根据权利要求1所述的端到端架构的通用场景中文普通话语音识别方法，其特征在于，步骤S2中，按照语音活性检测方切分成的若干语音段落为2～10秒不等长的语音段落。