[发明专利]一种增强BART预训练任务的句子排序方法及装置

权利要求书

1.一种增强BART预训练任务的句子排序方法，其特征在于：包括如下步骤：

步骤1、从文本资源中提取有序的句子作为原始训练数据；

步骤2、对原始训练数据进行预处理，选取随机数量的干扰句子添加到待排序句子，对待排序句子进行词性标注并生成句子的词性标注标签，对待排序句子添加句子标记，生成目标标记序列表示句子的顺序，根据目标标记序列构造各预训练任务对应的标记序列；预训练任务包括：词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务；

步骤3、用预处理后的训练数据训练BART模型；

步骤4、将待排序的句子输入到训练完成的模型中进行预测排序，具体为：对于待排序的句子添加句子标记，拼接成输入字符串，将排序控制信息以预训练任务对应的标记序列格式加到输入字符串中，再将输入字符串输入模型进行句子自由排序或句子可控排序。

2.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述预训练任务为一种多任务学习的训练方法，其中所述词性标注预训练任务用于训练BART模型编码器端，与所述句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务或句子旋转预训练任务组合起来同时训练模型。

3.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述词性标注预训练任务，训练时将BART模型编码器输出端每个字符对应的输出向量经过前馈神经网络预测词性标签。

4.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述预训练任务中，句子的排序用句子标记的序列表示，将正确排序对应的标记序列称为目标标记序列，以目标标记序列为基础构造各预训练任务对应的标记序列，将构造得到的预训练任务对应的标记序列输入模型，训练模型生成目标标记序列。

5.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述句子掩盖预训练任务具体为，对表示句子顺序的目标标记序列进行字掩码预训练，随机选择目标标记序列中的句子标记进行掩盖，得到掩码标记序列，作为句子掩盖预训练任务对应的标记序列。

6.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述句子删除预训练任务具体为，随机选择目标标记序列中的句子标记删除，得到不完整的标记序列，作为句子删除预训练任务对应的标记序列。

7.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述句子填充预训练任务具体为，随机选择目标标记序列中一段连续的句子标记，用一个掩码进行替换，得到待填充标记序列，作为句子填充预训练任务对应的标记序列。

8.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述句子旋转预训练任务具体为，随机选择目标标记序列中的一个句子标记将目标标记序列旋转，使得选中的句子标记作为新序列的开头，得到旋转标记序列，作为句子旋转预训练任务对应的标记序列。

9.如权利要求1所述的一种增强BART预训练任务的句子排序方法，其特征在于：所述步骤4中，对于句子自由排序是将排序控制信息为空的输入字符串输入至模型中进行预测排序；对于句子可控排序是将排序控制信息通过句子标记序列的形式加到输入字符串中，再将带排序控制信息的输入字符串输入至模型中进行预测排序，输出符合排序控制信息的句子排序结果。

10.一种增强BART预训练任务的句子排序装置，其特征在于：所述装置包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-9任一项所述增强BART预训练任务的句子排序方法。