[发明专利]基于端到端深度学习模型的语音识别方法及系统

权利要求书

1.一种基于端到端深度学习模型的语音识别方法，其特征在于，包括如下步骤：

步骤S10，对韵母、声母进行分类编码，并且把发音相近的韵母映射到同一个编码，把发音相近的声母映射到同一个编码，形成规则映射表；

步骤S20，利用所述规则映射表，对语料进行数据编码，把语料的汉字利用规则映射表中编码进行表示；

步骤S30，对编码后的语料使用混合式端到端模型进行训练，所述混合式端到端模型包括“拼音”端到端模型和“音素”端到端模型，从而得到“拼音”和“音素”声学模型；

步骤S40，利用规则映射表对将要应用的多个词汇进行编码，形成词汇库；

步骤S50，使用所述声学模型识别语音；

步骤S60，使用编辑距离对比声学模型输出的编码和词汇库内词汇的编码，找到最小的编辑距离，对应的词汇就是识别结果，

其中，

步骤S50中，识别语音时，判断拼音序列的字数是否小于等于字数限值，当拼音序列的字数大于字数限值时，则步骤S501，仅用“拼音”声学模型来识别语音，

当拼音序列字数小于等于字数限值时，则步骤S502，“拼音”声学模型与“音素”声学模型结合来识别语音。

2.根据权利要求1所述的基于端到端深度学习模型的语音识别方法，其特征在于，

字数限值大于等于2。

3.根据权利要求1所述的基于端到端深度学习模型的语音识别方法，其特征在于，

对韵母、声母进行的分类编码是字母或数字。

4.根据权利要求1所述的基于端到端深度学习模型的语音识别方法，其特征在于，韵母ai、ei采用同一编码；

韵母ao、ou采用同一编码；

韵母en、eng采用同一编码；

韵母un、ong采用同一编码；

声母m、n、l采用同一编码；

声母f、h采用同一编码；

声母zh、z采用同一编码；

声母ch、c采用同一编码。

5.一种基于端到端深度学习模型的语音识别系统，其特征在于，包括：

编码模块，对韵母、声母进行分类编码，并且把发音相近的韵母映射到同一个编码，把发音相近的声母映射到同一个编码，形成规则映射表，

利用所述规则映射表，对语料进行数据编码，把语料的汉字利用规则映射表中编码进行表示；

训练模块，对编码后的语料使用混合式端到端模型进行训练，所述混合式端到端模型包括“拼音”端到端模型和“音素”端到端模型，从而得到“拼音”和“音素”声学模型；

识别模块，使用所述声学模型识别语音，其中，识别模块还包括语音字数判断单元，在识别语音时，语音字数判断单元判断语音的拼音序列的字数是否小于等于字数限值，当拼音序列的字数大于字数限值时，则仅用“拼音”声学模型来识别语音，当拼音序列字数小于等于字数限值时，则“拼音”声学模型与“音素”声学模型结合来识别语音。

6.根据权利要求5所述的基于端到端深度学习模型的语音识别系统，其特征在于，所述识别模块还包括编辑距离对比单元，编辑距离对比单元利用编辑距离对比声学模型输出的编码和词汇库内词汇的编码，找到最小的编辑距离，对应的词汇就是识别结果。