[发明专利]一种基于注意力机制生成摘要的方法

说明书

本发明公开了一种基于注意力机制生成摘要的方法来生成文本摘要，本发明一共包括两个阶段：第一个阶段是句子排序过程，第二阶段是摘要生成过程，其输入是通过第一阶段得到的与文章主题最相关的N个句子。在第一阶段中，对于带有标题的文章本文提出一种监督式的排序方法，首先计算每一个句子与标题之间相似度，再根据相似度对文章进行排序，最后选取相似度最高的N个句子。对于第二阶段，本发明提出了一种新的计算编码器和解码器之间注意分布的方法，即在不同时间里，解码器应该关注编码器中的不同部分。本发明通过排序方法和摘要生成方法，缓解了文章过长时必须直接截断一部分文本作为摘要生成模型的输入所导致的文章信息衰减问题。

技术领域

本发明属于自然语言处理领域，更具体地，涉及一种基于注意力机制生成摘要的方法。

背景技术

随着互联网的发展，网络信息呈爆炸式的增长，如何快速有效的获取网络信息已成为一个重要的研究问题。文本摘要正是在这样的一个背景下发展起来的，随着信息检索和自然语言处理技术的发展，文本摘要已成为近年来的研究热点。

文本摘要目的是将文本或文本集合转换为包含关键信息的简短文本。文本摘要按照输入类型可分为单文档摘要和多文档摘要，其中单文档摘要从给定的一个文档中生成摘要，多文档摘要从给定的一组主题相关的文档中生成摘要。从获取摘要的方式来划分的话有两种方法，一种是抽取式的，其是直接从文章找到一些关键的句子按照文章出现的顺序组合成一篇摘要；一种是生成式的，需要计算机可以读懂文章的内容，并且用更精炼的话将其表达出来。与抽取式摘要技术相比，生成式方法使用的先进的自然语言处理的算法，通过转述、同义替换、句子缩写等技术，生成更凝练简洁的摘要。

目前，生成式获取摘要的方法大多数都是使用以循环神经网络(RecurrentNeural Network，简称RNN)及其变种作为基本单元的编码器和解码器来实现。然而，该摘要生成方法存在一些不可忽略的缺陷：第一、该RNN网络训练过程复杂，训练非常缓慢；第二、由于编码器的输入长度是有限的，当文章的长度大于该输入长度时，大于该输入长度的文章内容会被自动删除，从而会造成文章中一些重要信息的缺失。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于注意力机制生成摘要的方法，其目的在于，解决现有基于RNN的生成式摘要获取方法中存在的训练速度慢、以及训练难度大的技术问题，以及会造成文章中一些重要信息缺失的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于注意力机制生成摘要的方法，包括以下步骤：

S1、从互联网获取文章，将该文章输入训练好的句子排序模型中，以获取精简后的文章；

S2、将步骤S1得到的精简后的文章输入训练好的摘要生成模型中，以得到文章的摘要。

优选地，句子排序模型中的训练过程如下：

(1)获取文章的标题，将标题中各个词输入句子排序模型的标题级编码器中，以得到该标题的语义向量；

(2)获取文章中的句子，将句子中各个词输入句子排序模型的句子级编码器中，以得到与该句子对应、且包含标题信息的语义向量；

(3)根据步骤(2)获得的与该句子对应、且包含标题信息的语义向量计算标题和句子之间的相似度。

本步骤具体为，首先对步骤(2)获得的与该句子对应、且包含标题信息的语义向量进行最大池化操作，以得到该句子的最终表示，并使用线性映射和sigmoid激活函数对该最终表示进行处理，以得到标题和句子之间的相似度。

标题和句子之间相似度的计算公式如下：