[发明专利]一种基于变压器模型和多参照系的文本编码表示方法

说明书

公开了基于变压器模型和多参照系的文本编码表示方法，该方法包括，基于语境化文本的词向量和分隔符向量编码结果，将词向量和所在句的分割符向量进行拼接，获得拼接词向量；将所述拼接词向量按照设置的至少两个以上语义概念进行映射，获得所述词向量的至少两个以上语义概念向量，并使得当词向量的绝对语义概念数小于设定的语义概念总数时，该词向量的语义概念向量表示趋同，最终剩下p种不相似的语义概念向量；通过最大池化，从所述不相似的语义概念向量中选择出词向量在当前语境中最合适的语义概念向量，作为词向量在当前语境下的语义预测结果；获得词向量的概率向量，根据概率向量，确定词向量所对应语义概念下的词语概率。

技术领域

本发明涉及自然语言的机器理解领域，特别地，涉及一种基于变压器模型和多参照系的文本编码表示方法。

背景技术

为了使机器更好地利用语言，通过词向量的方式将词语映射到多维空间中去。由于人类的文字表述往往需要结合上下文才可以形成完整的语义，这对机器理解来说，文本的语义表示成为极大的挑战。

现有预训练语言表示方法模型通过词语的词向量来构建，而人类对文本的层次理解方式是词语-词组-句子-段落-篇章的方式，现有构建的语言模型与人类对理解方式有所差异，导致了信息粒度具备一定的局限性。

另外，现有预训练语言表示方法的模型中，例如，BERT、ELMO、ULMFiT等，不仅在嵌入层，还在预测层(参照系计算层)使用了单一词向量表作为参照系，这使得预训练语言表示训练过程中，同一词语的不同语义参照同一目标收敛。例如，手机“苹果”和水果“苹果”虽然是同一词语，却在语义空间上彼此独立，无法用同一词向量来表示，当应用上述现有模型进行预训练语言表示时，手机“苹果”和水果“苹果”参照同一目标进行收敛。

发明内容

本发明提供了一种基于变压器模型和多参照系的文本编码表示方法，以更好地提供文本的语义表示。

本发明提供的基于变压器模型和多参照系的文本编码表示方法是这样实现的：

一种基于变压器模型和多参照系的文本编码表示方法，其特征在于，该方法包括，

将自然语言文本按照句子进行分词，获得各个分词序列的词向量；

将所述词向量基于变压器模型进行编码，获得语境化编码结果；

基于语境化编码结果，将词向量进行拼接，获得拼接词向量；

将所述拼接词向量按照设置的至少两个以上语义概念进行映射，获得所述词向量的至少两个以上语义概念向量，并使得当词向量的绝对语义概念数p小于设定的语义概念总数P时，该词向量的语义概念向量表示趋同，最终剩下p种不相似的语义概念向量；

通过最大池化，从所述不相似的语义概念向量中选择出词向量在当前语境中最合适的语义概念向量，作为词向量在当前语境下的语义预测结果；

将词向量在当前语境下的语义预测结果进行归一化，并获得词向量的概率向量，

根据概率向量，确定词向量所对应语义概念下的词语概率。

其中，所述使得当词向量的绝对语义概念数p小于设定的语义概念总数P时，该词向量的语义概念向量表示趋同，最终剩下p种不相似的语义概念向量包括，对所述至少两个以上语义概念向量按照相似性程度分别进行加权，获得各个独立语义概念向量之间的牵引力。

较佳地，将自然语言文本按照句子进行分词，获得各个分词序列的词向量进一步包括，插入句子级分隔符，并获得分隔符向量；将分词序列中的部分分词设置为遮掩，并获得被遮掩分词的词向量。

其中，所述基于语境化编码结果，将词向量进行拼接，获得句子级编码的词向量包括，将词向量和其所在句的句子分隔符向量拼接起来，获得句子级编码的拼接词向量。