[发明专利]基于参数共享非自回归语音识别训练解码方法及系统

权利要求书

1.基于参数共享非自回归语音识别训练方法，其特征在于包括如下步骤：

S11，获取语音训练数据和对应的文本标注训练数据，并提取一系列语音训练数据的特征，构成声学特征序列；

S12，将声学特征序列进行声学编码，输出声学编码状态序列；

S13，将声学编码状态序列和空白填充序列进行非自回归解码，通过解码输出的概率矩阵，结合文本标注训练数据，计算非自回归交叉熵损失L_NAR；

S14，将声学编码状态序列和文本标注训练数据进行自回归解码，通过解码输出的概率矩阵，结合文本标注训练数据，计算自回归交叉熵损失L_AR；

S15，根据非自回归交叉熵损失L_NAR和自回归交叉熵损失L_AR加权，得到联合损失L_Joint＝αL_NAR+(1-α)L_AR计算梯度，并进行反向传播，α表示非自回归交叉熵损失在联合损失函数中的权重；

S16，循环执行S12至S15，直至达到预设的训练结束条件，完成训练。

2.如权利要求1所述的基于参数共享非自回归语音识别训练方法，其特征在于所述自回归解码，依次进行词嵌入、位置编码、自回归解码层解码和输出映射，自回归解码层包括遮蔽多层自注意力机制层、多头注意力机制层和前馈映射层，将带有起始标记的目标文本序列进行词嵌入，得到的词嵌入表示序列添加位置编码后，输入到遮蔽多层自注意力机制层，每层遮蔽自注意力机制的计算如下：

其中，Q表示查询值、K表示关键值、V表示内容值，d_k是向量K的维度，M表示上三角矩阵，对角线上方元素为-INF，对角线下方元素为0，多头注意力机制层将多个遮蔽自注意力机制的输出向量拼接到一起，再通过前馈映射层得到输出结果。

3.如权利要求1所述的基于参数共享非自回归语音识别训练方法，其特征在于所述非自回归解码，依次进行词嵌入、位置编码、非自回归解码层解码和输出映射，非自回归解码层包括多层自注意力机制层、多头注意力机制层和前馈映射层，空白填充序列输入词嵌入，得到的词嵌入表示序列添加位置编码后，输入到多层自注意力机制层，每层自注意力机制的计算如下：

其中，Q表示查询值、K表示关键值、V表示内容值，d_k是向量K的维度；

多头注意力机制层将多个自注意力机制的输出向量拼接到一起，再通过前馈映射层得到输出结果。

4.如权利要求2或3所述的基于参数共享非自回归语音识别训练方法，其特征在于所述多头注意力机制层包括多头自注意力机制层和多头编码解码注意力机制层，实现如下：

head_i＝Attention(QW_i^Q，KW_i^K，VW_i^V)

MultiHeadAttention(Q，K，V)＝Concat(head₁，...，head_h)W^O

其中，W_i^Q、W_i^K、W_i^V、W^O表示可以学习的权重矩阵，MultiHeadAttention表示多头编码解码注意力机制，对于多头自注意力机制，其中Q＝K＝V，均表示前一层网络的输出序列，对于多头编码解码注意力机制，其中Q表示前一层网络的输出序列，K＝V表示所述声学编码状态序列，MultiHeadAttention将多个输出向量head_i拼接到一起后，经过线性层映射到一个固定维度。