[发明专利]一种基于旋转位置编码的端到端语音识别方法

权利要求书

1.一种基于旋转位置编码的端到端语音识别方法，其特征在于，包括以下步骤：

步骤1：构建基于卷积自注意力网络的端到端语音识别模型；

步骤1-1：去掉卷积自注意力网络在下采样层的位置编码，在每个编码器的多头自注意力模块之前加入旋转位置编码，具体如下：

在多头自注意力模块的输入序列的内积中加入相对位置信息：

q_m＝f_q(x_m，m)

k_n＝f_k(x_n，n)

f_q(x_m，m)，f_k(x_n，n)＝g(x_m，x_n，m-n) (1)

其中q_m是给x_m添加位置信息后得到的输出，k_n是给x_n添加位置信息后得到的输出，是多头自注意力模块输入序列的第m个和第n个元素，T是序列长度，d是维度；q_m和k_n的内积由函数g(·)表示，分别通过函数f_q(·)、f_k(·)加入第m个和第n个元素的位置信息，函数g(·)只取x_m、x_n及其相对位置m-n作为输入变量；函数f_q(·)、f_k(·)分别表示给x_m和x_n添加位置信息的函数；

步骤1-2：求解符合等式(1)的函数f_q(·)和f_k(·)完成旋转位置编码；

步骤1-2-1：当维度d＝2时，解为：

f_q(x_m，m)＝(x_mW_q)e^imθ

f_k(x_m，m)＝(x_mW_k)e^imθ

g(x_m，x_n，m-n)＝Re[(x_mW_q)(x_nW_k)^*e^i(m-n)θ] (2)

其中分别是多头自注意力模块查询向量和键向量的线性层的权重矩阵，d_m是多头自注意力模块的隐层维度，Re[·]表示复数的实部，(x_nW_k)^*表示(x_nW_k)的共轭复数，是一个非零常数；

步骤1-2-2：根据内积的线性可加性，将式(2)的解推广到任意偶数维度d，将d维空间划分为d/2子空间，并进行组合：

其中

Θ＝{θ_i＝10000^-2(i-1)/d，i∈[1，2，...，d/2]} (5)

步骤1-3：通过步骤1-2-1和步骤1-2-2构造了基于卷积自注意力网络的端到端语音识别模型；

步骤2：采用语料库数据，使用Adam优化器，设定训练参数，训练基于卷积自注意力网络的端到端语音识别模型；

步骤3：将待识别语音输入训练完成的基于卷积自注意力网络的端到端语音识别模型，语音识别模型进行识别输出相应的文本。

2.根据权利要求1所述的一种基于旋转位置编码的端到端语音识别方法，其特征在于，所述语料库为普通话语料库AISHELL-1和英语语音语料库LibriSpeech。

3.根据权利要求1所述的一种基于旋转位置编码的端到端语音识别方法，其特征在于，所述使用Adam优化器进行训练时，学习率峰值为0.0005，并进行30000次步骤的预热。