[发明专利]基于注意力分布已知的抽象式神经网络生成摘要的方法

权利要求书

1.一种基于注意力分布已知的抽象式神经网络生成摘要的方法，其特征在于，所述方法包括如下步骤：

步骤S1，将源文本输入摘要模型，利用beam search生成多个候选摘要及相应的注意力分布，并经过摘要模型的编码后得到句向量；

步骤S2，将所述句向量输入到预先训练好的注意力分布预测模型中，得到预测出的最优注意力分布；

步骤S3，根据每个候选摘要的注意力分布与最优注意力分布的距离，计算各个候选摘要的注意力得分；

步骤S4，根据每个摘要序列的条件概率以及注意力得分，计算各个候选摘要的最终得分；

步骤S5，选择最终得分最高的候选摘要作为最终摘要。

2.根据权利要求1所述的方法，其特征在于，其中所述步骤S3中，计算各个候选摘要的注意力得分是按照如下公式：

其中，attAw(Y)为注意力得分，α_t,p为第t个单词对第p个句子的注意力权重，Y为生成的序列，|Y|为生成的序列的长度，为真实生成摘要的注意力分布，ψ_p(X)为预测出的最优的注意力分布，如果某个候选摘要对一些句子赋予过低的注意力比重，那么注意力得分就会下降，如果某些句子被分配的注意力比重过高，虽其本身的分数不变，但会降低其他句子的注意力比重，从而导致分数下降。

3.根据权利要求2所述的方法，其特征在于，其中所述步骤S4中，计算各个候选摘要的最终得分是按照如下公式：

其中，Score为最终得分，p(Y|X)为每个摘要序列Y的条件概率，β为比例系数，用来均衡条件概念和注意力得分，最终得分是等于去除摘要长度影响的条件概率加上一定比例的注意力得分。

4.根据权利要求1所述的方法，其特征在于，其中所述步骤S2中，所述注意力分布预测模型为句向量与注意力分布之间的依存关系，所述注意力分布预测模型的训练学习过程为：将句向量的集合输入一个Transformer编码器后得到包含上下文信息的句向量集合，每个句向量再经过一个单神经元的全连接层得到对应的注意力权重，这些注意力权重经过softmax归一化后就可以得到注意力分布，将之前训练摘要模型得到的注意力分布作为最优的注意力分布，训练所述注意力分布预测模型来最小化其输出的注意力分布与最优的流产力分布之间的均方差。

5.根据权利要求4所述的方法，其特征在于，其中所述句向量的集合是将源文本以句子的形式分开然后将它们输入到一个摘要模型而得到，同时还得到各个预测单词对各个句子分配的注意力。

6.根据权利要求5所述的方法，其特征在于，其中所述注意力权重经过softmax归一化后就可以得到注意力分布的计算过程如下：

其中，α_p为第p个句子被分配的总注意力权重，α_t,p为第t个单词对第p个句子的注意力权重，将所有的单词对第p个句子的注意力权重相加后归一化得到第p个句子被分配的总注意力权重，这些权重组成了注意力分布。