[发明专利]使用深度学习对长文档进行抽象概要

权利要求书

1.一种用于生成包括多个部分的结构化文档的概要的方法，所述方法包括：

使用相应的第一递归神经网络来处理在部分中包括的多个词中的每个词，以生成相应的词级别表示；

由第二递归神经网络来处理每个相应的词级别表示，以生成部分级别表示；

通过对所述第一递归神经网络的一个或多个隐藏状态以及所述第二递归神经网络的一个或多个隐藏状态执行神经注意过程，来生成上下文向量；以及

基于所述概要中的先前预测词和所述上下文向量，生成所述概要中的下一预测词。

2.根据权利要求1所述的方法，其中所述上下文向量通过形成所述第一递归神经网络的隐藏状态的加权线性组合而被生成。

3.根据权利要求1所述的方法，其中生成所述概要中的下一预测词包括：

由第三递归神经网络处理所述上下文向量和所述先前预测词，以生成解码表示；

由前馈网络处理所述解码表示以生成第一输出；以及

由softmax网络处理所述第一输出以生成所述下一预测词。

4.根据权利要求3所述的方法，其中所述第三递归神经网络通过将所述第三网络的内部状态设置为所述第二递归神经网络的最终状态而被初始化。

5.根据权利要求1所述的方法，其中所述部分中包括的所述多个词中的每个词被表示为向量。

6.根据权利要求5所述的方法，其中生成所述概要中的下一预测词还包括：

通过第四递归神经网络处理所述上下文向量和所述先前预测词，其中所述第四递归神经网络生成第一输出；

通过前馈网络处理所述输出以生成第二输出；以及

通过softmax网络处理所述第二输出以生成所述下一预测词。

7.根据权利要求6所述的方法，其中在经由所述第四递归神经网络处理之前，所述上下文向量和所述先前预测词被级联。

8.一种用于生成包括多个部分的结构化文档的概要的系统，所述系统包括：

词级别LSTM，所述词级别LSTM与所述部分中的相应一个部分相对应，其中所述相应的词级别LSTM处理所述相应部分中的每个词，以生成相应的词级别表示；

部分级别LSTM，其中所述部分级别LSTM处理针对所述相应部分的所述相应词级别表示以生成部分级别表示；

注意网络，其中所述注意通过对所述LSTM的输出执行神经注意过程来生成上下文向量；

预测网络，其中所述预测网络基于所述概要中的先前预测词和所述上下文向量来生成所述概要中的下一预测词。

9.根据权利要求8所述的系统，其中所述词级别LSTM和所述部分级别LSTM是编码器的一部分，并且所述预测网络包括：

解码器，其中所述解码器包括解码器LSTM；

前馈网络；以及

softmax网络。

10.根据权利要求8所述的系统，其中所述上下文向量通过形成所述词级别LSTM的输出的加权线性组合而被生成。

11.根据权利要求9所述的系统，其中：

所述解码器LSTM处理所述上下文向量和所述先前预测词以生成解码表示；

所述前馈网络处理所述解码表示以生成第一输出；以及

所述softmax处理所述第一输出以生成所述下一预测词。

12.根据权利要求9所述的系统，还包括软开关，其中所述软开关选择性地确定是指针网络还是softmax网络被用于输出下一预测词。

13.根据权利要求12所述的系统，其中所述指针网络基于概率分布来从源文档中选择词。