[发明专利]使用深度学习对长文档进行抽象概要

摘要

公开了用于概要包括长文档的文档的抽象概要过程的技术。文档是使用具有注意解码的编码器‑解码器架构进行编码的。特别地，用于建模文档的编码器生成文档的词级别和部分级别表示。然后，话语感知解码器捕获来自文档的所有话语部分的信息流。为了扩展生成的概要的稳健性，神经注意机制考虑文档的词级别和部分级别表示两者。神经注意机制可以利用应用于词级别表示和部分级别表示的权重集合。

主权项

1.一种用于生成包括多个部分的结构化文档的概要的方法，所述方法包括：使用相应的第一递归神经网络来处理在部分中包括的多个词中的每个词，以生成相应的词级别表示；由第二递归神经网络来处理每个相应的词级别表示，以生成部分级别表示；通过对所述第一递归神经网络的一个或多个隐藏状态以及所述第二递归神经网络的一个或多个隐藏状态执行神经注意过程，来生成上下文向量；以及基于所述概要中的先前预测词和所述上下文向量，生成所述概要中的下一预测词。