[发明专利]一种全端到端的中英文混合空管语音识别方法及装置

权利要求书

1.一种全端到端的中英文混合空管语音识别方法，其特征在于，包括以下步骤：

a：采集空管语音并对所述空管语音进行预处理；其中，所述空管语音为中英文混合的音频数据；

b：将所述空管语音输入到预先建立的中英文混合空管语音识别模型；

c：输出所述空管语音对应的指令信息；

所述中英文混合空管语音识别模型包括特征学习模块、语音识别模块以及中英文指令词汇库；所述特征学习模块用于预先提取空管语音的语音特征，所述语音识别模块用于将提取的语音特征转换为计算机可读的指令文本信息；所述中英文指令词汇库的训练过程包括：

针对中文语音，以中文汉字作为其标注词汇单元；

针对英文语音，采用BPE算法学习生成标注词汇单元；

将得到的英文词汇库与中文汉字库合并，得到最终的中英文指令词汇库；

其中，所述英文词汇库的学习优化包括以下步骤：

1)输入标注样本，获取英文子词单元；

2)获取英文子词单元数量、所述英文子词单元的发音匹配程度以及所述标注样本的词汇平衡度；所述词汇平衡度是将所述标注样本中的英文单词标注转换为英文子词单元序列后，所获取的各英文子词单元的出现频次；

3)采用BPE算法对优化目标函数进行优化，提高优化目标函数值；

所述优化目标函数为：

其中，a_i为不同优化目标的权重参数，代表不同的优化目标函数，表示输出的子词单元数量，V_bpe和V分别代表输出的子词库数量和输入英文单词的数量；代表不同词汇出现频次的平衡程度，η_i和η_max分别代表词汇出现的频次和最大频次；衡量输出词库中的单音节发音词的数量V_s，用来表示其发音与中文发音的匹配程度。

2.根据权利要求1所述的一种全端到端的中英文混合空管语音识别方法，其特征在于，所述中英文混合空管语音识别模型的搭建包括以下步骤：

S1：输入语音训练样本，并对其进行预处理，获取未标注的原始语音信号以及分割标注后的单个语音信号；

S2：构建基于卷积神经网络、循环神经网络和全连接层的特征学习模块，使用所述未标注的原始语音信号，采用自监督学习的方式训练所述特征学习模块直至模型误差稳定，用于从所述未标注的原始语音信号中提取语音特征；

S3：构建基于循环神经网络和全连接层的语音识别模块，使用所述语音特征，采用有监督学习的方式训练所述语音识别模块直至模型误差稳定，并与所述特征学习模块级联，得到中英文混合空管语音识别模型；

S4：使用所述分割标注后的单个语音信号和对应的指令文本数据训练所述中英文混合空管语音识别模型，降低模型误差，并输出所述中英文混合空管语音识别模型。

3.根据权利要求2所述的一种全端到端的中英文混合空管语音识别方法，其特征在于，所述特征学习模块包括隐空间特征编码器以及上下文特征解码器，用于以自监督的方式从未标注原始语音中学习鲁棒性的语音特征；

其中，所述隐空间特征编码器用于获取语音帧级别的语音特征，所述上下文特征解码器用于根据语音信号的上下文相关性获取语音信号的上下文序列语音特征。

4.根据权利要求3所述的一种全端到端的中英文混合空管语音识别方法，其特征在于，所述隐空间特征编码器和所述上下文特征解码器的主干网络包括卷积神经网络单元、长短时记忆单元和全连接预测单元；

所述卷积神经网络单元用于从所述原始语音信号中获取语音特征，学习具有鉴别性的音频特征并丢弃干扰性的语音特征，以及进行数据压缩；

所述长短时记忆单元用于从所述原始语音信号中获取时序特征，并建立语音信号、语音特征以及指令文本之间的映射关系；

所述全连接预测单元用于根据所述时序特征，预测后续语音信号的语音特征，完成所述特征学习模块的自监督训练。