[发明专利]联结主义时间分类和截断式注意力联合在线语音识别技术

权利要求书

1.一种端对端语音在线语音识别方法，所述方法基于神经网络模型，所述神经网络模型由训练所得，并包括编码器、解码器、注意力截断网络、联结主义时间分类器，所述方法包括：

获取待解码的语音流，提取所述语音流的声学特征流；

编码器根据所述声学特征流，得到编码特征流；

获取留存的汉字序列；将所述留存的汉字序列输入解码器，解码器生成状态序列；

根据所述状态序列，以及编码特征流，所述注意力截断网络截取有效的编码特征；

根据所述有效的编码特征，解码器给出多个所述留存的汉字序列的后续一位预测汉字，每个所述预测汉字和留存的汉字序列构成一个新汉字序列，解码器根据所述新汉字序列，得到第一预测评分；

对齐所述新汉字序列和所述编码特征流，所述联结主义时间分类器根据联结主义时间分类准则对对齐后的新汉字序列进行估算，得到第二预测评分；

根据第一预测评分和第二预测评分，得到综合预测评分，根据所述综合预测评分，保留综合预测评分最高的若干所述新汉字序列；

判断所述新汉字序列是否包含终止符，

若不包含，

将其变为留存汉字序列，输入解码器，继续后续汉字的预测；

若包含，

以所述综合预测评分最高的所述新汉字序列做作为识别结果，并输出。

2.根据权利要求1所述的方法，其中，所述对齐所述新汉字序列和所述语音包括，使用维特比算法对齐所述新汉字序列和所述语音。

3.根据权利要求1所述的方法，其中，所述获取待解码的语音流，提取所述语音流的声学特征流；编码器根据所述声学特征流，得到编码特征流；获取留存的汉字序列；根据所述留存的汉字序列，以及编码特征流，解码器截取有效的语音片段；包括：

将待解码的语音流对应的声学特征序列X＝[x₁，x₂，...，x_t]输入编码器，实时地输出新的特征序列H＝[h₁，h₂，...，h_t]；

同时将存留的汉字序列Y＝[sos，y₁，...，y_i-1]输入解码器，解码器在依次处理存留的汉字序列中的每一个汉字后产生的最终状态s_i-1，根据最终状态s_i-1，从上一次截断点τ_i-1开始依次向后计算H中每帧h_j的截断概率,即j＝τ_i-1，τ_i-1+1，...，

其中，p_ij为在h_j帧的截断概率，W_h和W_s是参数矩阵，b和v是参数向量，g和r是参数标量,sos表示起始符,

当概率第一次大于0.5时停止计算，并将当前j的值作为新的截断点τ_i；

若在输入的语音流中未能找到满足条件的截断点，则等待新的语音流输入，直至找到满足条件的截断点；

对于解码的初始状态，存留的汉字序列为Y_init＝[sos],语音的截断点为τ₀＝1。