[发明专利]一种针对词汇序列数据的综合位置编码方法

摘要

本发明公开了一种针对词汇序列数据的综合位置编码方法，在词汇序列输入模型之前，每个词汇除了自身的编码之外，还附加了词汇在序列中绝对位置的编码；在深度学习模型中进行两两词汇的二元关系计算时，还加入了两个词汇在序列中的相对位置的编码；两种位置编码本身的数值是可优化的，在训练过程中不断被调整数值。本发明在对词汇原位置进行绝对位置编码的基础上，进一步将任意两个词汇之间距离进行编码，并将两种编码进行组合，从而将具有序列化特征的语言源数据在并行输入到深度学习模型进行计算时，能够有效地体现数据的序列性。相比现有的位置编码方法，本发明可以使目前主流的机器翻译模型实现更高的翻译精度，错误率更低。