[发明专利]一种针对词汇序列数据的综合位置编码方法

权利要求书

1.一种针对词汇序列数据的综合位置编码方法，其特征在于：包括如下步骤：

通过在实数空间随机采样生成三组词典：源输入和目标输入的词汇编码词典源输入和目标输入的绝对位置编码词典源输入和目标输入的相对位置编码键位词典和相对位置编码值位词典其中，l_src和l_tgt分别表示源输入词汇编码词典和目标输入词汇编码词典的大小，下标src、tgt分别代表源输入、目标输入，下标src:K、tgt:K分别代表源输入键位、目标输入键位，下标src:V、tgt:V分别代表源输入值位、目标输入值位，dim为每个特征向量的长度，max_len表示数据中源输入和目标输入中出现过的最长的序列长度，k表示任意两个词汇计算相对位置时允许的最大距离；

根据输入中的词汇查找到词汇编码词典VOC_src、VOC_tgt中对应的特征向量x_i、y_i,组成源输入和目标输入词汇特征向量组：

X^{len(src)×dim}＝[x₁,x₂…x_len(src)-1,end]

Y^{len(tgt)×dim}＝[start,y₁…y_len(tgt)-1]

len(src)-1和len(tgt)-1分别表示源输入和目标输入的长度，end和start分别表示语句的结束和开始向量；

在绝对位置词典VOC_PO_src、VOC_PO_tgt中分别截取前len(src)和len(tgt)行，生成源输入和目标输入绝对位置特征向量组：

将以上数据输入Transformer模型进行训练，得到训练好的Transformer模型；

所述将以上数据输入Transformer模型进行训练，得到训练好的Transformer模型，具体包括如下步骤：

S3-1：对Transformer模型N层编码器进行训练，其中，第i层编码器一端的输入如下：

其中，W_i1Q，W_i1K，W_i1V是编码器中的参数矩阵，b_i1Q，b_i1K，b_i1V是编码器中的参数向量，X_i-1为第i-1层的编码器的输出；

第i层编码器另一端输出如下：

其中，W_i2，W_i3为参数矩阵，b_i2，b_i3为参数向量；X_i为第i层的编码器的输出；

当i＝0时：

X₀＝X+PO_src

其中，X为源输入词汇特征向量组，PO_src为源输入绝对位置特征向量组,X₀第1层编码器一端的输入；

S3-2：对Transformer模型N层解码器进行训练，其中，第i层解码器一端的输入如下：

其中，W_i1Q，W_i1K，W_i1V是解码器中的参数矩阵，b_i1Q，b_i1K，b_i1V是解码器中的参数向量，Y_i-1为第i-1层的解码器的输出；

第i层解码器另一端的输出如下：

其中，X_N代表第N层编码器的输出，W_i1Q:context,W_i1K:context,W_i1V:context为参数矩阵，b_i1Q:context,b_i1K:context,b_i1V:context为参数向量；

当i＝0时：

Y₀＝Y+PO_tgt

其中，Y_i为第i层的解码器的输出，Y为目标输入词汇特征向量组，PO_tgt为目标输入绝对位置特征向量组，Y₀第1层解码器一端的输入，Y_N为第N层解码器的输出，为Transformer模型的输出、W_end、b_end分别代表参数矩阵、参数向量；

S3-3：设其中，每个v代表一个目标输入词汇的特征向量，根据Y中每个词汇的编号生成一个答案矩阵：

则整个Transformer模型此轮训练的误差为：

ΔO^{len(tgt)×dim}＝Y-(O*A×VOC_tgt)

其中，O为

S3-4：准备新的训练样例X和Y，重复执行过程S3-1～S3-3，直到训练轮次满足设定阈值时，得到训练好的Transformer模型。