[发明专利]一种基于XLNet的自动摘要方法与装置

权利要求书

1.一种基于XLNet的自动摘要方法，其特征在于，包括如下步骤：

(1)将文本按句进行切分，将句子按词进行切分，在每个句子前增添显示的用于明确句子界限的占位符；每个单独的句子将作为模型中的最小评分单元，以及摘要的最小组成单元；

(2)构建基于XLNet模型的XLNetSum模型，包括输入层、多层Transformer-XL、全局位置编码信息层和输出层；其中输入层将输入的词语序列转化为词嵌入向量与句序号；多层Transformer-XL用于从输入的词嵌入向量与句序号中获取文本的语义信息，为文本中的每一个词语生成上下文相关的动态词向量；全局位置编码信息层用于利用三角函数的周期性给出位置信息，并将每个句子中用于明确句子界限的占位符对应的动态词向量和全局位置编码拼接作为句子的特征向量；输出层将句子的特征向量转化为归一化的输出，表示对应的句子属于摘要内容的概率；

(3)将经步骤(1)处理后的训练集文本输入XLNetSum模型，得到模型对文本中各个句子的评分，通过损失函数计算当前模型在训练集上的误差，并利用随机梯度下降算法进行反向传播，更新XLNetSum模型的参数；通过验证集上的损失判断模型训练是否完成，并选取验证集损失最低的模型作为输出模型；

(4)将经由步骤(1)处理后的测试集文本输入训练完成的XLNetSum模型，得到文本中句子的评分，基于评分进行后处理，选择最为重要的若干句子作为摘要。

2.根据权利要求1所述的基于XLNet的自动摘要方法，其特征在于，所述步骤(1)中将句子切分为词序列时，首先统计模型词表中的所有词语，并为其构建前缀树；将每一个句子从首个字符开始，与前缀树进行最大长度匹配，通过贪心算法将句子切分为词语序列，作为模型的输入。

3.根据权利要求1所述的基于XLNet的自动摘要方法，其特征在于，所述步骤(2)中全局位置编码信息的计算方式为：

其中pos∈[0，L)，是词语所处的位置，L是文本序列的总词语数，Q是大于L的常数，M是动态词向量的维度，U_pos∈R^M，维度与XLNet的动态词向量输出一致，U_pos，r是U_pos向量的第r项。

4.根据权利要求1所述的基于XLNet的自动摘要方法，其特征在于，所述步骤(3)中的损失函数基于标准交叉熵设计，计算方法为：

其中N为当前样本的语句总数，Lab_i和Out_i分别为第i句话的标签和预测值。

5.根据权利要求1所述的基于XLNet的自动摘要方法，其特征在于，所述步骤(4)中在进行后处理时利用3-gram排除信息冗余的句子，并为每个文本选择最多3个句子作为摘要。

6.一种基于XLNet的自动摘要装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的基于XLNet的自动摘要方法。

7.一种存储装置，存储有可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的基于XLNet的自动摘要方法。