[发明专利]基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质

权利要求书

1.一种基于截断注意力的实时语音识别的方法，包括：

基于输入的语音信号，获得用于截断所述语音信号的特征序列的截断信息；

基于所述截断信息，将所述特征序列截断成多个子序列；以及

针对所述多个子序列中的子序列，通过注意力机制来获得实时识别结果，

其中获得用于截断语音信号的特征序列的截断信息包括：

通过对所述特征序列进行连接时序分类CTC处理来获得与所述语音信号有关的尖峰信息；以及

基于所获得的所述尖峰信息，确定所述截断信息。

2.根据权利要求1所述的方法，其中通过注意力机制来获得实时识别结果包括：

对所述多个子序列中的第一子序列执行注意力模型的第一注意力建模，所述注意力模型能够实现加权特征选择；以及

对所述多个子序列中的第二子序列执行所述注意力模型的第二注意力建模，所述第一注意力建模不同于所述第二注意力建模。

3.根据权利要求1所述的方法，其中：

由共享编码器将所述语音信号编码成所述特征序列；

由连接时序分类CTC模块基于所述特征序列来获得所述尖峰信息；以及

由注意力解码器基于所述特征序列和所述尖峰信息来获得所述实时识别结果，所述共享编码器被所述连接时序分类CTC模块和所述注意力解码器共享。

4.根据权利要求3所述的方法，还包括：

确定用于训练所述连接时序分类CTC模块的第一损失函数；

确定用于训练所述注意力解码器的第二损失函数；以及

使用所述第一损失函数和所述第二损失函数来一起训练所述连接时序分类CTC模块和所述注意力解码器。

5.根据权利要求1所述的方法，其中将所述特征序列截断成多个子序列包括：

针对所述尖峰信息中的每个尖峰，选择所述特征序列中与每个尖峰相邻的预定数目个尖峰相对应的子序列，所述预定数目个尖峰包括每个尖峰之前的第一数目个尖峰和每个尖峰之后的第二数目个尖峰。

6.根据权利要求5所述的方法，其中通过注意力机制来获得实时识别结果包括：

基于所述特征序列中的多个重叠的子序列，通过第一级注意力机制分别确定多个特征向量；

基于所确定的所述多个特征向量，通过第二级注意力机制确定上下文特征向量；以及

基于所确定的所述上下文特征向量，确定所述实时识别结果。

7.根据权利要求5所述的方法，其中所述特征序列是隐含特征序列，并且每个尖峰指示一个音节或者一组音素。

8.一种基于截断注意力的实时语音识别的装置，包括：

截断信息获得模块，被配置为基于输入的语音信号，获得用于截断所述语音信号的特征序列的截断信息；

特征序列截断模块，被配置为基于所述截断信息，将所述特征序列截断成多个子序列；以及

识别结果获得模块，被配置为针对所述多个子序列中的子序列，通过注意力机制来获得实时识别结果，

其中所述截断信息获得模块包括：

尖峰信息获得模块，被配置为通过对所述特征序列进行连接时序分类CTC处理来获得与所述语音信号有关的尖峰信息；以及

截断信息确定模块，被配置为基于所获得的所述尖峰信息，确定所述截断信息。

9.根据权利要求8所述的装置，其中所述识别结果获得模块包括：

第一注意力建模装置，被配置为对所述多个子序列中的第一子序列执行注意力模型的第一注意力建模，所述注意力模型能够实现加权特征选择；以及

第二注意力建模装置，被配置为对所述多个子序列中的第二子序列执行所述注意力模型的第二注意力建模，所述第一注意力建模不同于所述第二注意力建模。