[发明专利]一种基于多模态低秩双线性池化的图像内容问答方法

摘要

本发明公开了一种基于多模态低秩双线性池化的图像内容问答方法。本发明包括以下步骤：1、对图像和以自然语言描述的问题，答案文本进行数据预处理，2、多模态低秩双线性池化模型，进行特征融合。3、基于MFB池化模型和协同关注点模型的神经网络结构。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的神经网络模型，特别是提出一种图像问答领域中对图像‑问题的跨媒体数据进行统一建模的方法，以及在图像和问题细粒度特征上学习“协同关注点”进行建模表达的网络结构，并且获得了目前在图像问答领域中的最好效果。

主权项

一种基于多模态低秩双线性池化的图像内容问答方法，其特征在于包括以下步骤：给定图像i、相应的问题q和答案a，构成三元组i，q，a作为训练集；步骤(1)、数据预处理，对图像和文本数据提取特征对图像i预处理：先将图像i缩放到统一的尺寸大小，再使用现有的深度神经网络提取图像的特征if；对问题q和答案a的文本数据的预处理：问题q文本数据：首先分词，构建问题文本字典，将问题文本保留前l个词语并把词语替换成字典中的索引值，得到文本索引向量；答案a文本数据：不分词，构建答案字典并截取频率最高的υ个答案；并将给定的答案转换成答案字典中的索引值，最后转换成υ维的一位有效编码答案向量；步骤(2)、创建多模态低秩双线性池化模型,进行特征融合；输入不同模态的图像的视觉特征向量和问题的文本特征向量，使用提出的基于神经网络实现的多模态低秩双线性池化模型进行图像和文本特征有效融合，输出指定维度的融合特征；步骤(3)、基于协同关注点建模的神经网络模型针对问题文本：首先将问题文本的一位有效编码特征利用词语向量化技术转换成矩阵qe；将转换后的问题矩阵qe输入到长短期记忆网络并输出l×d维向量qf，其中l是问题的词语个数，d是LSTM输出特征维度；对问题生成注意点区域特征attq，并生成带注意点信息的问题特征qa；将生成的qa和图像的特征if输入步骤(2)描述的多模态低秩双线性池化模型，得到输出特征z1；对图像提取注意点区域特征atti，其中atti是一个多通道特征矩阵，其中每个通道代表一个图像注意点区域特征；将图像特征if同atti的每一个通道做SoftAttention操作，并将结果拼接起来生成输出ia，将ia同qa一起输入到步骤(2)的多模态低秩双线性池化模型，并输出z2；对z2做全连接操作后产生一个v维向量，再经过一个softmax产生概率输出作为网络的输出预测值；其中v是构建的答案字典的大小；步骤(4)、模型训练根据产生的预测值同该问题的实际答案的差异，并利用反向传播算法对步骤(3)定义的神经网络的模型参数进行训练，直至整个网络模型收敛。