[发明专利]注意力范围自适应方法、系统及计算机可读存储介质

权利要求书

1.一种注意力范围自适应方法，其特征在于，包括以下步骤：

S1、通过缓存机制保存模型的隐向量序列，设置保存的最大长度；

S2、添加掩盖函数控制模型的注意力范围；根据所述掩盖函数的最长范围确定参与模型计算的隐向量序列长度；

S3、训练所述掩盖函数，并通过训练后的掩盖函数确定模型的注意力范围。

2.如权利要求1所述的注意力范围自适应方法，其特征在于，所述S2中，掩盖函数为：

其中，R是控制范围跨度的超参数，z是每层head的参数，l是所有层共享参数，R是超参数，S是最大的注意力范围；

注意力层变为：

其中，W_q，W_k，W_v是三个权值不同，尺寸相同的矩阵，d是权重矩阵W_k的纬度。

3.如权利要求1所述的注意力范围自适应方法，其特征在于，所述训练所述掩盖函数具体包括：

在数据集enwiki8和text-8上训练掩盖函数；

将enwiki8和text-8的数据集进行预处理；把数据集的每个单词拆分成字符，统计构成数据集的字符个数作为字典大小，按照字典构建模型的输入向量。

4.如权利要求1所述的注意力范围自适应方法，其特征在于，还包括：

S4、添加带门控单元的前馈层。

5.如权利要求4所述的注意力范围自适应方法，其特征在于，所述S4具体包括：

将transformer中的第一个投射层替换为门控单元，让输入经过两个线性变换，再将两个线性变换后的分量相乘，其他不变，公式如下：

FFN_GLU(x,w₁,w₂,w₃)＝(GLU(xw₁)w₂)w₃

其中，w₁，w₂表示GLU第一个线性变换，W₃是第二个线性变换的参数。

6.如权利要求4所述的注意力范围自适应方法，其特征在于，还包括：

S5、使用上述步骤学习到的参数来预测下一个字符。

7.一种注意力范围自适应系统，其特征在于，包括：

保存模块，用于通过缓存机制保存模型的隐向量序列，设置保存的最大长度；

控制模块，用于添加掩盖函数控制模型的注意力范围；根据所述掩盖函数的最长范围确定参与模型计算的隐向量序列长度；

训练模块，用于训练所述掩盖函数，并通过训练后的掩盖函数确定模型的注意力范围。

8.如权利要求7所述的注意力范围自适应系统，其特征在于，所述掩盖函数为：

其中，R是控制范围跨度的超参数，z是每层head的参数，l是所有层共享参数，R是超参数，S是最大的注意力范围；

注意力层变为：

其中，W_q，W_k，W_v是三个权值不同，尺寸相同的矩阵，d是权重矩阵W_k的纬度。

9.计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的注意力范围自适应方法。