[发明专利]一种图文序列匹配的跨媒体综合推理方法和系统

权利要求书

1.一种图文序列匹配的跨媒体综合推理方法，包括以下步骤：

建立跨媒体蕴涵推理数据集，其中前提包括图像和文本两种媒体类型，结论的媒体类型为文本；

利用跨媒体蕴涵推理数据集训练图文序列匹配深度网络，在网络训练时使用跨任务跨媒体迁移的训练方法；其中图文序列匹配深度网络首先对图像前提、文本前提、文本结论提取局部特征，再将文本-文本、文本-图像、文本-图像-文本三种组合的表示进行编码，通过自适应门限聚合与蕴涵关系分类器，得到蕴涵关系预测得分；在跨任务跨媒体迁移的训练方法中，每一组图像前提和文本前提具有成对关联关系，采用三元组度量学习损失进行检索任务训练，再将网络参数共享于蕴涵推理网络部分，将检索任务的关联知识迁移至蕴涵推理任务网络；同时，采用最大平均差异作为迁移损失，最小化图像、文本的局部统一表征分布差异，实现图像和文本前提之间的知识迁移；

利用训练好的图文序列匹配深度网络进行推理，判断给定前提和结论的蕴涵关系。

2.如权利要求1所述的图文序列匹配的跨媒体综合推理方法，其特征在于，所述跨媒体蕴涵推理数据集中，每组数据由一个图像前提、一个文本前提和一个文本结论构成，且具有蕴涵关系标注。

3.如权利要求1所述的图文序列匹配的跨媒体综合推理方法，所述图文序列匹配深度网络将跨媒体蕴涵推理任务建模为综合序列匹配问题，利用文本-文本、文本-图像、文本-图像-文本三种组合可能包含的逻辑关系，实现综合推理。

4.如权利要求3所述的图文序列匹配的跨媒体综合推理方法，其特征在于，在所述图文序列匹配深度网络中，首先对图像前提、文本前提、文本结论都提取局部特征，再分别通过一个全连接层转换为同样维度的局部统一表征；将局部统一表征分别通过序列编码模型，转换成为局部序列表征；对于图像前提、文本前提、文本结论，局部序列表征通过图像-文本、图像-文本-文本、文本-文本三种组合方式进行拼接，分别输入DMAN模型得到上下文编码；将上下文编码通过自适应门限聚合以及蕴涵关系分类器并将分类概率相加，得到最终的蕴涵关系预测得分。

5.如权利要求1所述的图文序列匹配的跨媒体综合推理方法，其特征在于，在所述跨任务跨媒体迁移的训练方法中，跨任务迁移发生在跨媒体检索任务和蕴涵推理任务之间，目标是将检索任务蕴含的关联知识迁移至蕴涵推理任务网络；在跨媒体蕴涵推理数据集中，每一组图像前提和文本前提具有成对关联关系，将成对数据视为相关，不成对数据视为不相关，采用三元组度量学习损失进行检索任务训练，再将网络参数共享于蕴涵推理网络部分，从而实现跨任务迁移。

6.如权利要求5所述的图文序列匹配的跨媒体综合推理方法，其特征在于，所述三元组度量学习损失采用下式计算：

L_Sim＝max(0,α+sim(G(iⁿ)⁺,G(tⁿ)⁺)-sim(G(iⁿ)+,G(tⁿ)^-))+max(0,α+sim(G(iⁿ)⁺,G(tⁿ)⁺)-sim(G(tⁿ)⁺,G(iⁿ)^-))

其中，G(iⁿ)+,G(tⁿ)⁺为具有成对关联的图像、文本前提对，G(iⁿ)⁺,G(tn)^-和G(tⁿ)⁺,G(iⁿ)^-为不具有成对关联的图像、文本前提对，max为求最大值运算，sim为距离度量运算，α为边界参数。