[发明专利]一种基于注意力机制生成摘要的方法

权利要求书

1.一种基于注意力机制生成摘要的方法，其特征在于，包括以下步骤：

S1、从互联网获取文章，将该文章输入训练好的句子排序模型中，以获取精简后的文章；

S2、将步骤S1得到的精简后的文章输入训练好的摘要生成模型中，以得到文章的摘要；

其中句子排序模型的训练过程如下：

(1)获取文章的标题，将标题中各个词输入句子排序模型的标题级编码器中，以得到该标题的语义向量；

(2)获取文章中的句子，将句子中各个词输入句子排序模型的句子级编码器中，以得到与该句子对应、且包含标题信息的语义向量；

(3)根据步骤(2)获得的与该句子对应、且包含标题信息的语义向量计算标题和句子之间的相似度；

本步骤具体为，首先对步骤(2)获得的与该句子对应、且包含标题信息的语义向量进行最大池化操作，以得到该句子的最终表示，并使用线性映射和sigmoid激活函数对该最终表示进行处理，以得到标题和句子之间的相似度；

标题和句子之间相似度的计算公式如下：

其中s表示标题与句子之间的相似度，n表示句子中词的总数，w1表示线性映射的权值，axpooling表示最大池化操作，是指选取其中最大值作为结果，sigmoid激活函数是将输入的连续值变换为0和1之间的输出，表示步骤(2 )得到的与该句子对应、且包含标题信息的语义向量；

(4)重复上述步骤(2)和(3)达m次，从而得到标题与文章中每一个句子之间的相似度，根据得到的相似度由大到小对文章中的所有m个句子进行排序，从中选择排名靠前的N个相似度所对应的N个句子，按照其在文章中的顺序组成新的文章，其中m表示文章中的句子总数，N是10到20之间的整数；

(5)获取文本摘要数据集，对文本摘要数据集中的每一篇文章执行上述步骤(1)到(4)，以得到新的文本，所有新的文本组成新的数据集。

2.根据权利要求1所述的方法，其特征在于，步骤(1)包括以下子步骤：

(1-1)将标题中各个词输入标题级编码器的词嵌入层中，再将其输出结果作为第一词向量输入标题级编码器的位置编码层中，以得到各个词的位置编码向量，并将各个词的位置编码向量和第一词向量相加，以得到与标题中各个词对应的、且包含位置信息的第二词向量；

其中，词的位置编码向量是用正余弦编码来计算：

其中pos表示词的位置，d_model表示词的位置编码向量的维度，其与第一词向量的维度一致，i表示词的位置编码向量中的维度序号，其取值是0到(d_model-1)；

第二词向量是通过以下公式计算：

其中E_word表示第一词向量，x_j表示标题x中的第j个词，表示标题x中第j个词的第二词向量，j的取值范围是0到标题的长度；

(1-2)将步骤(1-1)中得到的第二词向量输入标题级编码器的多头自注意力层中，以得到自注意力层输出结果；

(1-3)将步骤(1-2)得到的自注意力层输出结果输入标题级编码器的位置嵌入网络层中，以得到该标题的语义向量。