[发明专利]一种基于图文融合的生成式摘要生成方法

权利要求书

1.一种基于图文融合的生成式摘要生成方法，其步骤包括：

1)将给定的文本数据集划分为训练集、验证集和测试集；其中，文本数据集中的每一样本是一三元组(X,I,Y)，X是文本，I是文本X对应的图像，Y是文本X的摘要；生成式摘要模型包含特征提取模块、特征融合模块以及摘要生成模块；

2)特征提取模块使用区域卷积神经网络捕获每一图像的实体特征，然后选取区域最大的前三个实体特征作为候选区域；然后生成该图像全局特征的图像特征和三个候选区域的图像特征；然后将所述图像特征转换为与文本同维度的图像特征向量；

3)使用训练集和训练集对应的图像特征向量对生成式摘要模型进行训练；其中进行训练时，对于同一样本，特征融合模块将该样本对应的文本向量和该样本对应的图像特征向量进行拼接，得到向量化表示的训练集、验证集和测试集；然后从向量化表示的训练集中选取k个样本依次输入到编码器中，得到文本和图像的联合编码h_s，通过中间语义向量c_t，计算解码器的隐状态h_t，从而实现特征融合；然后摘要生成模块使用融合的特征生成摘要；

4)输入一条文本和对应图像并生成该图像的图像特征向量，然后将该文本及其对应的图像特征向量输入到训练后的生成式摘要模型，得到该文本对应的摘要。

2.如权利要求1所述的方法，其特征在于，图像特征向量包括图像全局特征向量和图像中最大区域的三个实体向量。

3.如权利要求1所述的方法，其特征在于，所述特征融合的方法为：在编码阶段当前时刻i的隐层输出为联合编码h_s，在编码阶段当前时刻i解码器的隐状态为h_t，通过转移矩阵W_a计算当前状态下的h_t与h_s的关联程度score(h_t，h_s)并对其归一化得到a_t(s)，然后计算中间语义向量c_t＝a_t(s)·h_s，及解码器的隐状态

4.如权利要求3所述的方法，其特征在于，摘要生成模块生成的摘要为其中，y_t是生成摘要Y的第t个词，A是样本的文本向量和图像特征向量拼接特征，Ws是参数矩阵。

5.如权利要求1所述的方法，其特征在于，使用双线性网络将每一个候选区域的图像特征转化为与文本同维度的图像特征向量I_t＝W_iI_v，其中I_v表示图像特征，W_i是双线性网络的参数，I_t表示与文本同维度的图像特征向量。

6.如权利要求1所述的方法，其特征在于，使用区域卷积神经网络捕获每一图像的实体特征的方法为：

21)应用过分割技术，将每一图像分割成多个区域，然后对同一图像的各区域按照设定合并规则进行合并，将合并后出现的所有区域作为初步候选区域；

22)使用一个CNN网络对每一个初步候选区域进行特征提取；

23)将每个初步候选区域得到的特征输入到支持向量机分类器中，判别是否是对应的实体标签；

24)使用回归模型，根据类别标志的结果修正初步候选区域的边框位置；

25)将该图像的初步候选区域按照区域大小排序，选取区域最大的前三个区域对应的实体作为图像的实体特征。

7.如权利要求6所述的方法，其特征在于，所述合并规则为相近颜色合并或近似纹理合并。

8.如权利要求1所述的方法，其特征在于，利用测试集测试训练后的生成式摘要模型，测试通过后利用验证集验证生成式摘要模型，验证通过后进行步骤4)。

9.如权利要求1所述的方法，其特征在于，将作为优化目标，对生成式摘要模型进行训练，直至生成式摘要模型收敛；其中，N是训练集中的样本量总个数，θ是为生成式摘要模型参数，y_n是摘要的第n个词，a_n为第n个词对应的特征。