[发明专利]一种基于图知识和主题感知的抽象文本摘要方法

权利要求书

1.一种基于图知识和主题感知的抽象文本摘要方法，其特征在于包括以下步骤：

步骤(1)：给定原始输入文档D，对原始输入文档D中每个句子的开头和结尾分别插入[CLS]和[SEP]，然后将处理后的输入文档D放入预训练语言模型BERT，学习句子的特征表示H_B；

步骤(2)：将原始输入文档D输入到神经主题模型NTM，学习文档的主题表示H_T；

步骤(3)：将句子的特征表示H_B和文档的主题表示H_T输入到图注意网络GAT中，并进行初始化；经过图注意网络GAT编码后，生成带有主题信息的句子特征h'；GAT编码过程是构建一个带有主题和句子的异构文档图，同时不断更新特征表示H_B和主题表示H_T所构成的节点表示；

步骤(4)：将带有主题信息的句子特征h'送入基于Transformer的解码器进行解码；并经过归一化后生成文本摘要；

步骤(5)：将GTASum模型在CNN/DailyMail数据集和XSum数据集上进行训练，挑选出最优的GTASum模型，将任意文本输入训练好的GTASum模型，输出对应的摘要内容；

所述GTASum模型由预训练语言模型BERT、神经主题模型NTM、图注意网络GAT和解码器共同组成。

2.根据权利要求1所述的一种基于图知识和主题感知的抽象文本摘要方法，其特征在于所述步骤(1)具体实现过程如下：

1-1对原始输入文档D中每个句子的开头和结尾分别插入特殊标记CLS和SEP，句子集合W＝{w₁,w₂,…,w_n}；其中，w_i表示第i个句子；[CLS]放在每个句子开头，[SEP]放在每个句子末尾；

1-2将句子集合W放入预训练好的语言模型BERT，如公式1所示，生成序列的隐藏状态表示H_B，并将隐藏状态表示H_B视为相应句子的特征表示：

H_B＝{h₁,h₂,...,h_i,...,h_n}＝BERT({w₁,w₂,...,w_i,...,w_n}) (1)。

3.根据权利要求2所述的一种基于图知识和主题感知的抽象文本摘要方法，其特征在于所述步骤(2)具体实现过程如下：

2-1将原始输入文档D输入到神经主题模型NTM中进行编码；在编码过程中，会生成均值μ＝f_μ(x)和方差logσ＝f_σ(x)；其中，函数f_μ和f_σ都是线性变换函数；

2-2解码过程有三步：

第一：采用高斯分布来描述主题分布，即z～Ν(μ,σ)和θ＝softmax(z)；其中，z是潜在的主题变量，θ∈R^K是z归一化的结果，K是主题维度；

第二：通过p_w＝softmax(W_φθ)来学习预测词p_w∈R^V的出现概率；其中，W_φ∈R^V×K是类似LDA主题模型中的主题-单词分布矩阵；

第三：从预测词p_w中提取每个单词来构造词袋x_box；

2-3取出神经主题模型中间参数W_φ，用公式2来构建主题表示H_T；

其中，是一组具有预定义维度是d_t的主题表示，f_φ是线性变换函数。