[发明专利]位置信息的融合方法、装置及计算机可读存储介质

说明书

本发明提供了一种位置信息的融合方法、装置及计算机可读存储介质。本发明提供的位置信息的融合方法，包括：对输入语句进行分词处理，得到所述输入语句中的词的第一序列，生成所述第一序列中的词的绝对位置信息；对所述第一序列中的词进行拆分，获得包括子词的第二序列，根据所述子词在所述第一序列中所属的词的绝对位置信息，生成所述第二序列中子词的位置信息；将所述第二序列中子词的位置信息融合到自注意力模型中，进行模型训练或模型预测。本发明在自注意力模型中引入子词拆分算法后，在模型输入特征中融合基于词绝对位置的词位置信息，可以使得后续任务能够获得更为准确的位置信息，提高模型的准确性。

技术领域

本发明涉及自然语言处理(NLP，Natural Language Processing)技术领域，具体涉及一种位置信息的融合方法、装置及计算机可读存储介质。

背景技术

近年来，注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理的任务中。随着注意力机制的深入研究，各式各样的attention模型被研究者们提出。2017年6月google机器翻译团队在arXiv上发表的《Attention is all you need》论文受到了业界广泛关注，自注意力(self-attention)机制开始成为神经网络注意力机制的研究热点，在各个任务上也取得了不错的效果。

自注意力模型(也可以称作自注意力网络模型)通过对输入序列中的每对元素应用attention来生成考虑上下文的表示。相比于卷积神经网络(CNN，Convolutional NeuralNetworks)和循环神经网络(RNN，Recurrent Neural Network)而言，自注意力模型在对远距离和局部相关性建模两方面都比较灵活。

在自然语言处理中，使用较小的词表有助于提高系统的性能，例如，在机器翻译/对话的序列到序列模型中通常希望设置较小的词表。传统词表示方法存在未登录词(OOV，Out Of Vocabulary)问题，难以处理未知或罕见的词汇，如果采用较小的词表，将会使得OOV问题更加突出。

为了减小词表的大小，减少未知词的数量，可以使用各种对词进行拆分的算法，将词进一步拆分为至少一个子词(Subword)，子词有时候也被称作词片段(WordPiece)。子词的粒度介于词和字符之间，能够较好的平衡OOV问题。在模型中采用对词进行拆分的子词拆分算法，已经成为提升模型性能提升的一种重要手段。常见的子词拆分算法有双字节编码(BPE，Byte Pair Encoding)算法和一元语言模型(ULM，Unigram Language Model)算法等。

在自注意力模型中引用子词拆分算法后，如何处理原来的词位置信息，以使后续任务能够获得更为准确的词的位置信息，保证模型的准确性，成为一个亟待解决的问题。

发明内容

本发明实施例要解决的技术问题是提供一种位置信息的融合方法、装置及计算机可读存储介质，在自注意力模型中引入子词后，在模型输入特征中融合基于词绝对位置的词位置信息，可以使得后续任务能够获得更为准确的位置信息，提高模型的准确性。

根据本发明实施例的一个方面，提供了一种位置信息的融合方法，包括：

对输入语句进行分词处理，得到所述输入语句中的词的第一序列，生成所述第一序列中的词的绝对位置信息；

对所述第一序列中的词进行子词拆分，获得包括子词的第二序列，根据所述子词在所述第一序列中所属的词的绝对位置信息，生成所述第二序列中子词的位置信息；

将所述第二序列中子词的位置信息融合到自注意力模型中，进行模型训练或模型预测。

此外，根据本发明至少一个实施例，根据所述子词在所述第一序列中所属的词的绝对位置信息，生成所述第二序列中子词的位置信息的步骤，包括：