[发明专利]一种基于知识增强和知识迁移的句子语义相关度判断方法

说明书

本发明公开了一种基于知识增强和知识迁移的句子语义相关度判断方法，根据语料集中已标注的训练数据和验证数据构造相应的无监督训练语料，并利用该语料对预训练BERT进行再次训练，从而得到包含任务相关领域知识的预训练语言模型TBERT；一方面根据BERT的输入要求将待判断的两个句子构造成句子对作为TBERT的输入，通过多层Transformer模型的学习句子对的全局上下文信息及其关系，从而得到句子对的全局语义相关信息；另一方面通过一个孪生BERT网络分别学习各个句子的局部语义信息，然后结合距离函数计算它们之间的语义相关度信息，从而得到包含句子局部语义及距离信息的语义向量，并最后合并得到最终的句子语义相关度表示。

技术领域

本发明涉及自然语言处理技术领域，具体为一种基于知识增强和知识迁移的句子语义相关度判断方法。

背景技术

句子的语义相关度判断是文本挖掘及自然语言处理领域中的一个重要子任务，在问答系统、搜索引擎、文本分类等领域中有着广泛的应用。句子语义相似度的主要研究目标是通过机器学习的方式判断两个句子之间的语义相似性。早期的研究主要侧重于结合传统的机器学习方法从语法的角度研究句子之间的相关度。近年来，随着深度学习以及各种预训练语言模型（如BERT和XLNet等）的快速发展，学术界和工业界开始在基于大规模通用文本语料的基础上训练所得的预训练语言模型基础上，进一步结合微调的方式学习任务相关的知识，并在多个句子语义相关度语料任务上取得了新的最好效果。

近两年来，许多相关工作证明了利用大规模无标注文本语料学习通用语言表示，并根据具体任务进行微调的方式是非常有效的，其中以BERT为主要代表。基于预训练语言模型+微调的两阶段模型在多个自然语言处理任务上取得了新的最好结果。由于预训练语言模型BERT是在海量的通用无监督文本上结合MLM和NSP目标训练所得，往往缺乏任务相关的领域知识。虽然在微调的过程中可以学习任务相关的知识，但容易因缺乏足够的训练语料而导致模型训练不足，难以更好地学习任务相关的知识和提升模型的效果。另一方面，在基于BERT的句子语义相关度研究中通常将待判断的两个句子构造成一个句子对作为预训练语言模型BERT的输入，并将[CLS]标志所对应的词向量作为最终的语义进行相关度的判断，没有进一步考虑句子之间的语义距离信息，为此，我们提出一种基于知识增强和知识迁移的句子语义相关度判断方法。

发明内容

本发明的目的是针对上述现有研究的不足，提出一种基于知识增强和知识迁移的句子语义相关度判断方法，首先，通过利用目标任务集中已标注的训练数据及验证数据构造无监督的待训练语料，并对预训练语言模型BERT进行再训练，目的是进一步增强任务相关的知识，并得到相应的包含任务相关知识的TBERT模型；接着，一方面利用TBERT学习句子对之间的关系，另一方面利用孪生TBERT网络学习各个句子的语义向量，并结合距离函数给出句子之间的语义关系，最后合并得到最终的句子语义相关度词向量，将结果通过一个全连接网络和一个sigmoid网络进行计算及输出。

为实现上述目的，本发明提供如下技术方案：一种基于知识增强和知识迁移的句子语义相关度判断方法，判断方法的具体步骤为；

步骤一：对目标任务语料集中的所有句子语义相关度进行归一化处理，使得统一为区间[0，1]中的值，具体的归一化公式为：round((y-min)/(max-min)，4)，其中：round表示四舍五入并取小数点后4位，y表示具体某一个句子对的原始相关度，max和min分别表示该任务语料集中所有句子相关度的最大值和最小值；

步骤二：根据目标任务语料集中已标注的训练数据和验证数据，通过一定的策略构造相应的无标注训练语料，具体来说，若已标注的数据中句子对的语义相关度在区间(0.5，1]中，则在待训练语料中该句子对为相邻关系，即为同一段落，同时按50%的概率对调两个句子的先后顺序；若语义相关度在区间[0，0.5]，则在待训练语料中将句子对划分为两个独立的段落，并通过空白行进行相隔，同时按50%的概率对调句子的先后顺序；