[发明专利]基于卷积自注意力变换网络的轻量级端到端语音识别方法

权利要求书

1.一种基于卷积自注意力变换网络的轻量级端到端语音识别方法，其特征在于，包括以下步骤：

步骤1：构建基于卷积自注意力变换网络的轻量级端到端语音识别模型；

步骤1-1：对卷积自注意力变换网络的编码器进行改进，构成高效卷积自注意力变换网络；

步骤1-2：高效卷积自注意力变换网络的编码器包括两个低秩前馈模块，以及夹在两个低秩前馈模块中间的多头高效自注意力模块和卷积模块；

对于第i个高效卷积自注意力变换网络的输入X_i，输出Y_i由公式(1)到(4)得到：

X″_i＝X′_i+Conv(X′_i)    (3)

其中LFFN(.)表示低秩前馈模块，MHESA(.)表示多头高效自注意力模块，Conv(.)表示卷积模块，Layemorm(.)表示层归一化；

步骤1-3：低秩前馈模块；

将卷积自注意力变换网络编码器前馈模块的线性层权重矩阵分解为两个矩阵，用这两个矩阵替换原来的线性层权重矩阵，形成低秩前馈模块；对于低秩前馈模块的输入X，输出为：

LFFN(X)＝Dropout(Dropout(Swish(XE₁D₁))E₂D₂)    (5)

其中，Dropout(.)表示线性层，Swish(.)表示Swish激活函数；E₁和D₁为第一个线性层权重矩阵分解的两个矩阵，E₂和D₂为第二个线性层权重矩阵分解的两个矩阵；d和d_ff表示前馈模块的输出维度和隐层维度，d_bn表示所添加的瓶颈层的维度；

步骤1-4：多头高效自注意力模块；

对于多头高效自注意力模块中的第h个头，输入特征通过三个线性投影层形成查询键和值多头高效自注意力模块的第h个头的输出为：

其中，σ_row和σ_col分别表示沿矩阵的行或列应用softmax函数，d_k＝d_m/H表示每个头的输出维度，H表示注意力头的个数，d_m表示多头自注意力层的隐层维度，T是输入特征的长度；

多头高效自注意力用公式(7)表示：

MultiHead(Q，K，V)＝Concat(Z₁，…，Z_H)W^O    (7)

其中，为输出投影层的参数矩阵，Z_h则有如下表示：

Z_h＝E(Q_h，K_h，V_h)    (8)

步骤1-5：卷积模块；

卷积模块依次为逐点卷积层、门控线性单元、一维深度卷积层和批归一化；

步骤1-6：高效卷积自注意力变换网络包括N个编码器和M个解码器，N个编码器和M个解码器依次串行连接，构成语音识别模型；

步骤2：采用语料库数据，使用Adam优化器，设定训练参数，训练语音识别模型；

步骤3：将待识别语音输入训练完成的语音识别模型，语音识别模型进行识别输出相应的文本。

2.根据权利要求1所述的一种基于卷积自注意力变换网络的轻量级端到端语音识别方法，其特征在于，所述N＝12，M＝6。