[发明专利]位置信息的融合方法、装置及计算机可读存储介质

权利要求书

1.一种位置信息的融合方法，其特征在于，包括：

对输入语句进行分词处理，得到所述输入语句中的词的第一序列，生成所述第一序列中的词的绝对位置信息；

对所述第一序列中的词进行子词拆分，获得包括子词的第二序列，根据所述子词在所述第一序列中所属的词的绝对位置信息，生成所述第二序列中子词的位置信息；

将所述第二序列中子词的位置信息融合到自注意力模型中，进行模型训练或模型预测。

2.如权利要求1所述的融合方法，其特征在于，根据所述子词在所述第一序列中所属的词的绝对位置信息，生成所述第二序列中子词的位置信息的步骤，包括：

根据第一绝对位置信息和第二绝对位置信息，计算所述第二序列中的目标子词与参考子词的之间的相对距离；根据所述相对距离，生成目标子词的位置信息；

其中，所述第一绝对位置信息为所述目标子词在所述第一序列中所属的目标词的绝对位置信息，所述第二绝对位置信息为参考子词在所述第一序列中所属的参考词的绝对位置信息。

3.如权利要求2所述的融合方法，其特征在于，将所述第二序列中子词的子词位置信息融合到自注意力模型中的步骤，包括：

通过映射处理，将目标子词的位置信息映射为3个N维向量，所述3个N维向量与自注意力模型的输入向量Q、K和V一一对应，所述N为预设的超参数；

将所述3个N维向量分别与对应的输入向量Q、K和V融合后，输入至所述自注意力模型。

4.如权利要求1所述的融合方法，其特征在于，根据所述子词在所述第一序列中所属的词的绝对位置信息，生成所述第二序列中子词的位置信息的步骤，包括：

将所述子词在所述第一序列中所属的词的绝对位置信息，作为所述子词的位置信息。

5.如权利要求4所述的融合方法，其特征在于，将所述第二序列中子词的子词位置信息融合到自注意力模型中的步骤，包括：

通过映射处理，将所述子词的位置信息映射为1个M维向量，所述M为预设的超参数；

将所述M维向量与所述子词的词向量融合后，输入至所述自注意力模型。

6.如权利要求3或5所述的融合方法，其特征在于，所述映射处理包括以下处理中的至少一种：

基于正弦函数的计算处理；

基于余弦函数的计算处理；

基于正弦函数和余弦函数的计算处理；

引入新增的可训练模型参数，基于所述可训练模型参数进行运算。

7.一种位置信息的融合装置，其特征在于，包括：

分词处理模块，用于对输入语句进行分词处理，得到所述输入语句中的词的第一序列，生成所述第一序列中的词的绝对位置信息；

子词拆分模块，用于对所述第一序列中的词进行子词拆分，获得包括子词的第二序列，根据所述子词在所述第一序列中所属的词的绝对位置信息，生成所述第二序列中子词的位置信息；

融合模块，用于将所述第二序列中子词的位置信息融合到自注意力模型中，进行模型训练或模型预测。

8.如权利要求7所述的融合装置，其特征在于，

所述子词拆分模块，还用于根据第一绝对位置信息和第二绝对位置信息，计算所述第二序列中的目标子词与参考子词的之间的相对距离；根据所述相对距离，生成目标子词的位置信息；

其中，所述第一绝对位置信息为所述目标子词在所述第一序列中所属的目标词的绝对位置信息，所述第二绝对位置信息为参考子词在所述第一序列中所属的参考词的绝对位置信息。

9.如权利要求8所述的融合装置，其特征在于，

所述融合模块，还用于通过映射处理，将目标子词的位置信息映射为3个N维向量，所述3个N维向量与自注意力模型的输入向量Q、K和V一一对应，所述N为预设的超参数；将所述3个N维向量分别与对应的输入向量Q、K和V融合后，输入至所述自注意力模型。