[发明专利]一种基于多编码器的通话语音识别方法

权利要求书

1.一种基于多编码器的通话语音识别方法，其特征在于，包括如下步骤：

步骤1：对通话语音按声道信息进行分类；

步骤2：将分类好的语音以空白信息进行切分后按照说话开始时间进行排序；

步骤3：对排序好的语音进行预处理，将语音的声学信号转为80维的Fbank特征，并将通话语音的标注文本中字统计到词库中；

步骤4：将Fbank特征，按照前一句、目标句和后一句进行拼接作为语境信息的来源；对拼接后的语音和目标句分别输入到两个不同的编码器中，按照外部融合或内部融合进行语境信息融合，获得包含语境信息的隐空间特征；

步骤5：将隐空间特征输入到历史解码器中，在历史解码器中与已识别的文本特征进行融合，得到包含上下文的特征信息；

步骤6：将步骤5得到的包含上下文的特征信息输入到解码器中进行有掩码的解码操作，从而获得解码特征信息；

步骤7：将解码特征信息输入预设归一化指数函数中，得到目标语音的识别结果。

2.根据权利要求1所述的一种基于多编码器的通话语音识别方法，其特征在于，所述步骤2具体为：

按照最小音量、两句话之间最大时间间隔、单个音频最小时间长度这个三个指标进行切分，具体切分过程如下：

步骤2-1：其中空白声段中会存在背景噪音，通过最小音量进行过滤，将小于最小音量的片段进行删除；

步骤2-2：为保证最小音量不会删除边界声音即一句话后结尾的尾音，通过两句话之间最大时间间隔控制声音的结尾；

步骤2-3：通过单个音频最小时间长度删除通话语音中存在的一部分大于最小音量但存在时间小于设定阈值短且不包含有效信息的语音，最终得到切分好的音频；

步骤2-4：将通过指标切分好的音频通过说话开始时间进行排序。

3.根据权利要求2所述的一种基于多编码器的通话语音识别方法，其特征在于，所述步骤3的具体实现步骤是：预处理采用Fbank的输出模式，其过程包括：

步骤3-1：进行预加重处理，通过一个高通滤波器将语音信号的中低频波段过滤；

步骤3-2：将通过高通滤波器的语音信号进行分帧处理，即把不定长的音频切分成固定长度的小段，得到分帧后的语音信号wav[X1,X2,X3,…,Xn]；

步骤3-3：设置一个滑动汉明窗函数对分帧后的语音信号进行傅里叶变换，将语音数据从时域信号转变成频域信号；

wav_frame＝hamming(wav，10ms)

wav_data＝fft(wav_frame)

步骤3-4：将获取的频域信号通过对数梅尔谱滤波完成Fbank的计算，得到频谱为80维的Fbank特征：

wav_Fbank＝log_mel(wav_data)

步骤3-5：将通话语音对应标记文本中出现的字统计到词库中，保证不重复的情况下，用数字索引在代替这些字。