[发明专利]基于多尺度深度学习的图像问答方法

摘要

本发明公开了一种基于多尺度深度学习的图像问答方法，该方法受人类在图像问答中的认知行为启发，包括以下步骤：1)首先将同一图片按照需要设定为不同尺度大小的三幅图片，并采用预训练好的卷积神经网络提取图片特征，获取多尺度图片特征；2)利用递归神经网络来得到问句的特征表示，并接一个带不同卷积核大小的卷积层来获取n元问句特征表示；3)采用注意力转移机制来探索不同尺度的图片特征与n元问句表示之间的内在关联关系，即相似性度量；4)最后，融合不同尺度图片特征和n元问句特征，并使用层次网络结构，从大尺度到中尺度再到小尺度来推理预测问题的答案。本发明模拟人类在图像问答中的认知行为，并且在基准数据集上取得较高精度。

主权项

1.一种基于多尺度深度学习的图像问答方法，其特征在于，所述的图像问答方法包括如下步骤：S1、对训练数据集中的图像，设定为大、中、小三种尺度图像，得到不同尺度的图像；S2、对不同尺度的图像，用预先训练好的卷积神经网络分别提取各个尺度的图像特征，得到大、中、小三种尺度图像特征，然后对每个尺度的特征采用二范数归一化；S3、对训练数据集中图像对应的问句，使用双向门循环神经网络获得问句特征表示；S4、将上述的问句特征表示，使用带有不同卷积核大小的单层卷积层，获得n元问句特征表示，包括一元问句特征、二元问句特征、三元问句特征；S5、采用注意力转移机制，计算各个尺度图像特征与n元问句特征之间的相似度，得到各个尺度图像特征的权重分布，以及n元问句特征的权重分布；S6、将各个尺度图像特征与相应的权重分布加权求和，得到各个尺度的注意力图像特征向量，将n元问句特征与相应的权重分布加权求和，得到n元问句注意力特征向量；S7、将各个尺度的注意力图像特征向量与相应n元问句注意力特征向量进行融合得到融合特征；S8、将上述的融合特征，从大尺度到中等尺度再到小尺度进行融合，使用层次多层感知机结构，推理预测问句的答案；S9、在训练数据集上不断重复S1到S8，直到验证集上的准确率达到预期目标或者网络的损失函数开始收敛；S10、将训练好的网络在测试集上进行测试。