[发明专利]流式编码和语音识别方法、装置、电子设备以及存储介质

说明书

本发明实施例提供了一种流式编码和语音识别方法、装置、电子设备以及存储介质。流式编码方法，包括：基于先前融合帧序列的第二变换序列，确定历史参考帧序列的第三变换序列；基于所述第一变换序列和所述第三变换序列进行拼接处理，得到所述当前融合帧序列的第四变换序列；基于所述第四变换序列，确定用于注意力机制的源序列和上下文序列中的至少一者；基于所述源序列和所述上下文序列，对所述当前帧序列进行流式编码。由于历史参考帧序列的第三变换序列，基于先前融合帧序列的第二变换序列确定，减少了在线性变换处理过程中对历史参考帧序列变化处理所需的数据处理量，提高了数据处理效率，减小了设备的算力要求。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种流式编码和语音识别方法、装置、电子设备以及存储介质。

背景技术

自动语音识别(Automatic Speech Recognition，ASR)系统广泛应用于各种接口应用，例如，基于语音指令的搜索或知识问答应用等。

基于序列到序列(Sequence to Sequence)的神经网络模型已经在ASR技术中获得了广泛的流行度。端到端ASR系统的输入通常是语音序列，输出通常是文本序列，与传统ASR系统相比，它能够简化系统结构，并且避免了构建ASR系统所需的语言专家知识。这种端到端ASR系统可以直接学习语音识别器的各个部分和环节。

用于端到端ASR系统的序列到序列模型主要是基于两种类型的神经网络，即，适用于帧同步解码(Frame Synchronous Decoding，FSD)的具有逐帧判决的神经网络和使用标签同步解码(Label Synchronous Decoding，LSD)的具有逐标签判决的神经网络，例如，基于transformer的语音识别模型。基于LSD的ASR系统在语音识别中表现出优异的结果，但是，直接将其应用于流式处理的场景中，需要较长的语音数据序列作为输入，导致实时性较长。

为了使诸如transformer的语音识别模型更好地应用于流式处理的场景，可以将整个语音数据序列分成多个不重叠的帧序列，每个帧序列只需要关注这个帧序列之前的若干历史帧序列，而不需要关注整条语音数据序列。

然而，将诸如transformer的语音识别模型应用于算力较差的设备中，计算处理效率仍然较低。

发明内容

有鉴于此，本发明实施例提供一种流式编码和语音识别方法、装置、电子设备以及存储介质，以至少部分解决上述问题。

根据本发明实施例的第一方面，提供了一种流式编码方法，包括：基于当前帧序列进行线性变换，得到所述当前帧序列的第一变换序列；基于先前融合帧序列的第二变换序列，确定历史参考帧序列的第三变换序列；基于所述第一变换序列和所述第三变换序列进行拼接处理，得到所述当前融合帧序列的第四变换序列；基于所述第四变换序列，确定用于注意力机制的源序列和上下文序列中的至少一者；基于所述源序列和所述上下文序列，对所述当前帧序列进行流式编码。

在本发明的另一实现方式中，所述方法还包括：对初始帧序列进行采样，得到多个采样帧；拼接所述多个采样帧，得到所述当前帧序列。

在本发明的另一实现方式中，所述对初始帧序列进行采样，得到多个采样帧，包括：对初始帧序列进行均匀采样，得到多个采样帧，使得所述初始帧序列的序列长度为所述当前帧序列的序列长度的M倍，M为正整数。

在本发明的另一实现方式中，所述方法还包括：从所述初始帧序列中，确定所述历史参考帧序列，使得所述历史参考帧序列的序列长度为所述当前帧序列的序列长度的N倍，N为正整数。

在本发明的另一实现方式中，所述基于先前融合帧序列的第二变换序列，确定历史参考帧序列的第三变换序列，包括：基于所述当前帧序列的N倍长度，截取先前融合帧序列的第二变换序列，得到历史参考帧序列的第三变换序列。