[发明专利]基于多尺度深度学习的图像问答方法

权利要求书

1.一种基于多尺度深度学习的图像问答方法，其特征在于，所述的图像问答方法包括如下步骤：

S1、对训练数据集中的图像，设定为大、中、小三种尺度图像，得到不同尺度的图像；

S2、对不同尺度的图像，用预先训练好的卷积神经网络分别提取各个尺度的图像特征，得到大、中、小三种尺度图像特征，然后对每个尺度的特征采用二范数归一化；

S3、对训练数据集中图像对应的问句，使用双向门循环神经网络获得问句特征表示；

S4、将上述的问句特征表示，使用带有不同卷积核大小的单层卷积层，获得n元问句特征表示，包括一元问句特征、二元问句特征、三元问句特征；

S5、采用注意力转移机制，计算各个尺度图像特征与n元问句特征之间的相似度，得到各个尺度图像特征的权重分布，以及n元问句特征的权重分布；

S6、将各个尺度图像特征与相应的权重分布加权求和，得到各个尺度的注意力图像特征向量，将n元问句特征与相应的权重分布加权求和，得到n元问句注意力特征向量；

S7、将各个尺度的注意力图像特征向量与相应n元问句注意力特征向量进行融合得到融合特征；

S8、将上述的融合特征，从大尺度到中等尺度再到小尺度进行融合，使用层次多层感知机结构，推理预测问句的答案；

S9、在训练数据集上不断重复S1到S8，直到验证集上的准确率达到预期目标或者网络的损失函数开始收敛；

S10、将训练好的网络在测试集上进行测试。

2.根据权利要求1所述的基于多尺度深度学习的图像问答方法，其特征在于，所述的步骤S1中不同尺度的图像是通过以下过程得到：将原始图片缩放到某个设定的尺度，作为大尺度图像，然后从大尺度图像的中央裁剪出中等尺度图像和小尺度图像。

3.根据权利要求1所述的基于多尺度深度学习的图像问答方法，其特征在于，所述的步骤S4具体如下：

将所述的步骤S3中得到的问句特征表示，使用卷积核窗口大小分别为1*k，2*k，3*k，卷积操作过程沿着问句的单词顺序分别得到一元问句特征、二元问句特征、三元问句特征，其中，k是词向量的长度。

4.根据权利要求1所述的基于多尺度深度学习的图像问答方法，其特征在于，所述的步骤S5包括下列子步骤：

S501、将大、中、小尺度的图像特征和一元问句特征、二元问句特征、三元问句特征分别线性映射到相同的低维度特征表示，特征维度为d，且d<k；

S502、计算小尺度图像特征与一元问句特征之间，中尺度图像特征与二元问句特征之间，大尺度图像特征与三元问句特征之间的相似矩阵C：

C＝tanh(QWVT)

其中，相似矩阵C∈RT×N，T是问句中的单词数，N是图片特征块数，Q是问句特征，Q∈RT×d，W是d×d维度参数矩阵，V是图像特征，V∈RN×d；

S503、计算各个尺度图像特征和n元问句特征的权重分布，取相似矩阵C中每一行的最大值作为问句特征的权重分布αq，取相似矩阵C中每一列的最大值作为图像特征的权重分布βv，并用Softmax函数归一化：

αq＝softmax(maxj(Ct,j))；

βv＝softmax(maxi(Ci,n))；

其中，αq∈RT，βv∈RN，q取值1、2、3，分别表示一元问句、二元问句、三元问句，v取值1，2，3分布表示小尺度图像特征，中尺度图像特征，大尺度图像特征。