[发明专利]一种增强BART预训练任务的句子排序方法及装置

说明书

本发明公开了一种增强BART预训练任务的句子排序方法及装置，包括如下步骤：步骤1、从文本资源中提取有序的句子作为原始训练数据；步骤2、对原始训练数据进行预处理；步骤3、用预处理后的训练数据训练BART模型；步骤4、将待排序的句子输入到训练完成的模型中进行预测排序。设计词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务进一步增强BART模型对句子语义和句间关系的特征提取能力。设计的预训练任务是一种多任务学习的训练方法，也是一种位置可控的句子排序方法，将排序控制信息通过句子标签序列的形式加到输入字符串中，模型会根据输入的排序控制信息进行句子排序。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种增强BART预训练任务的句子排序方法及装置。

背景技术

句子排序任务可以认为是对一组句子进行排序，使得到的段落最通顺的任务。它可以在多文档摘要、对话分析和文本生成任务中提升结果的通顺度。

早期的句子排序方法专注于用规则和提取句子特征进行排序。提取的特征包括通顺线索（coreference clues）、实体网络（entity grids）、命名实体类型（named-entitycategories）等。

随着深度学习的兴起，人们开始利用神经网络模型进行句子排序。将神经网络应用于句子排序的方法主要可以分为相对关系预测、利用指针网络和利用预训练模型三种。

相对关系预测的方法通过预测两两句子间的相对顺序还原出所有句子的排列顺序。这种方法将句子排序任务分解为分类任务和图相关的算法来实现句子排序。然而在没有上下文的情况下单独比较两个句子有时难以确定它们之间的相对顺序。这种方法缺少对句子间全局特征的关注。

利用指针网络的方法用编码器解码器模型加指针网络的结构生成句子排序。编码器将句子编码成向量，解码器和指针网络再自回归的生成句子排序。这种方法对句子全局的特征具有一定的提取能力，在句子排序任务中取得了较好的成绩。

利用预训练模型的方法将在大规模语料上预训练得到的模型应用到句子排序任务中。由于预训练模型强大的特征提取能力，这种方法在句子排序任务中很容易有优秀的表现。Reorder-BART方法将预训练模型BART应用于句子排序中，将句子排序任务转化为条件文本到标签的生成任务（conditional text-to-marker generation task）。该方法给句子添加标记，用标记的索引序列表示句子排序。将带标记的句子输入BART模型，训练BART模型生成目标索引序列。Reorder-BART方法简单明了却能取得很好的效果，预训练模型BART发挥了重要作用。然而Reorder-BART只是对BART模型的初步应用，没有深入的更有针对性的措施来提升模型在句子排序任务中的表现。

发明内容

本发明的目的在于提供一种增强BART预训练任务的句子排序方法及装置，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：

本发明公开了一种增强BART预训练任务的句子排序方法，包括如下步骤：

步骤1、从文本资源中提取有序的句子作为原始训练数据；

步骤2、对原始训练数据进行预处理，选取随机数量的干扰句子添加到待排序句子，对待排序句子进行词性标注并生成句子的词性标注标签，对待排序句子添加句子标记，生成目标标记序列表示句子的顺序，根据目标标记序列构造各预训练任务对应的标记序列；预训练任务包括：词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务；

步骤3、用预处理后的训练数据训练BART模型；

步骤4、将待排序的句子输入到训练完成的模型中进行预测排序，具体为：对于待排序的句子添加句子标记，拼接成输入字符串，将排序控制信息以预训练任务对应的标记序列格式加到输入字符串中，再将输入字符串输入模型进行句子自由排序或句子可控排序。