[发明专利]基于卷积网格长短时记忆递归神经网络的自动语音识别加速方法

说明书

基于卷积网格长短时记忆递归神经网络的自动语音识别加速方法，属于语音信号处理技术领域。本发明是为了解决目前的加速方法大多是在牺牲识别性能的条件下进行加速导致其不能满足实际任务的需要问题。本发明的方法针对频谱或者频谱的多通道频谱子带进行时频块切分，然后进行局部特征提取，将卷积神经网络与Grid‑LSTM相结合，弥补了Grid‑LSTM在大频域步长情况下的精度损失。主要用于自动语音识别。

技术领域

本发明涉及一种自动语音识别加速方法。属于语音信号处理技术领域。

背景技术

长短时记忆(Long Short-Term Memory，LSTM)递归神经网络是自动语音识别任务中最常使用的模型。

近年来，随着LSTM的不断发展，出现了一类增强版本的LSTM，即二维LSTM(TwoDimension LongShort-TermMemory，2D-LSTM)。在这类LSTM中，最具代表性的是网格长短时(GridLongShort-TermMemory，Grid-LSTM)递归网络，其在频域和时域分别使用独立的LSTM进行序列建模。网格长短时记忆递归神经网络已成为自动语音识别(AutomaticSpeech Recognition，ASR)系统的重要组成部分。然而，由于Grid-LSTM在时域和频域分别使用两个独立的长短时记忆(LongShort-TermMemory，LSTM)递归网络对序列依赖关系进行建模，因此，Grid-LSTM在训练和推理过程中存在计算时间较长和计算量巨大的问题，即：由于Grid-LSTM使用两个独立的LSTM针对输入频谱进行滤波操作，因此会导致巨大的计算代价。进一步，由于其自身的网格限制，使得模型无法并行运算。

在实际使用过程中，系统对于模型的实时推理能力要求较高，因此Grid-LSTM往往无法有效应用在实际任务中。目前的加速方法大多是在牺牲识别性能的条件下进行加速，并不能满足实际任务的需要。

发明内容

本发明是为了解决目前的加速方法大多是在牺牲识别性能的条件下进行加速导致其不能满足实际任务的需要问题。

基于卷积网格长短时记忆递归神经网络的自动语音识别加速方法，包括以下步骤：

步骤1、时频块切分：

针对频谱X或者输入频谱X的多通道频谱子带X′进行时频块切分：

使用频率方向长度F，时间方向长度T的滑动窗，按照频域轴步长fre_strip，时间轴步长time_strip，将频谱X或其多通道频谱子带X′切分为一系列时频块集合X_block＝[x′_1，1，x′_2，1，...，x′_t，k，...]；x′_t，k为一个时频块，t表示时域，k表示频域；

步骤2、局部特征提取：

首先，针对x′_t，k进行卷积运算，提取当前时频块的局部频域特征

F_t，k＝x′_t，k*W_F

其中，W_F为卷积核的第F个子卷积核矩阵；

然后，针对F_t，k进行池化，P_t，k为池化后的F_t，k；

将P_t，k归一化到指定维度

x_t，k＝P_t，k×W_L+b，