[发明专利]一种基于图文融合的生成式摘要生成方法

说明书

本发明公开了一种基于图文融合的生成式摘要生成方法，其步骤包括：1)将给定的文本数据集划分为训练集、验证集和测试集；其中，文本数据集中的每一样本是一三元组(X,I,Y)，X是文本，I是文本X对应的图像，Y是文本X的摘要；2)对文本数据集的图像进行实体特征提取，并将提取的实体特征表示成与文本同维度的图像特征向量；3)使用训练集和训练集对应的图像特征向量对生成式摘要模型进行训练；4)输入一条文本和对应图像并生成该图像的图像特征向量，然后将该文本及其对应的图像特征向量输入到训练后的生成式摘要模型，得到该文本对应的摘要。本发明生成的摘要可以有效地调整文本中实体的权重，在一定程度缓解未登录词的问题。

技术领域

本发明属于人工技术领域，涉及一种基于图文融合的生成式摘要生成方法。

背景技术

现有的生成式摘要方法主要基于深度学习的seq2seq框架和注意力机制实现的。Seq2Seq框架主要由编码器(encoder)和解码器(decoder)组成，编码和解码都由神经网络实现，神经网络可以是递归神经网络(RNN)或卷积神经网络(CNN)。其具体过程如下，编码器将输入的原文本编码成一个向量(context)，该向量是原文本的一个表征。然后，解码器负责从这个向量提取重要信息、生成文本摘要。注意力机制为了解决长序列到定长向量转化而造成的信息损失的瓶颈，即在解码器中将注意力关注于对应的上下文。

虽然基于深度学习的seq2seq框架和注意力机制在摘要生成领域取得了一定的成绩，但是其趋向于生成高频词，从而会导致关键实体偏差的问题。一般情况下，关键实体的偏差有两种形式：第一、由于硬件资源的限制，一般会采用有限的词表，文章中的某些生僻关键实体词并不会出现在词表中，导致生成的摘要中缺失这些关键实体；第二、相对低频实体被忽略。

为了关键实体偏差的问题，本发明提出一种基于图文融合的生成式摘要方法，该方法引入图片区域信息，联合注意力机制将图片特征有机融合于文本内容中，动态调整关键实体信息的权重，从而提升生成摘要的质量。

发明内容

本申请提案能解决现有生成式摘要关键实体缺失的问题，从而提升生成摘要的质量以及可读性。

以上的技术问题是通过下列技术方案解决的：

一种基于图文融合的生成式摘要生成方法，所述摘要生成过程如下：

步骤1，对给定的文本数据集进行去停用词、特殊词标记等数据预处理操作，将数据混洗后划分为训练集、验证集和测试集。文本数据集中的每一样本是一三元组(X,I,Y)；其中，X是文本，I是对应的图像(即与X匹配的图像)，Y是文本X的摘要。

步骤2，对步骤1中文本数据集对应的图像提取主要特征实体，并将其表示成与文本同维度的图像特征。特征实体包括全文的图表示以及关键实体的三个图像表示；以文本a为例，如有30个词，词向量长度为128维，则文本是30个128维的向量，图像特征包括全局，最大区域的三个实体，所以是4个128维的向量，合在一起，是34个128维的向量。

步骤3，一种基于图文融合的生成式摘要模型，并使用步骤1的训练集和步骤2处理后的训练集对应的图像特征对模型训练。

步骤4，待摘要生成模型训练完毕，用测试集测试模型的性能，可以使用Rouge评价指标。

步骤5，在实际应用中，在交互界面输入一条文本和对应图像并生成该图像的图像特征，然后将输入文本及其对应的图像特征输入到训练后的生成式摘要模型，得到一条对应的摘要。

所述步骤1中，对文本数据进行预处理过程如下：

步骤1.1，将给定的原始数据集进行文本，摘要和图像一一对应，得到每一样本的三元组(X，I，Y)。

步骤1.2，同时对文本和摘要去除特殊字符、表情符、全角字符等。