[发明专利]基于语义对齐的视觉问答方法和系统、存储介质

权利要求书

1.一种基于语义对齐的视觉问答方法，其特征在于，包括：

获取并预处理数据集，得到预处理后的原始图像以及与原始图像信息对应的问答信息，所述问答信息包括问题和答案；

根据所述预处理后的原始图像提取原始图像特征和目标位置特征，根据所述目标位置特征产生图像描述语句；根据所述问题和图像描述语句，得到图像描述单词、问题特征和图像描述语句特征；

将所述原始图像特征与图像描述单词进行语义对齐，得到第一图像特征；根据所述原始图像特征和图像描述语句特征，得到第二图像特征；根据所述原始图像特征和问题特征，得到第三图像特征；

融合所述第一图像特征、第二图像特征、第三图像特征、图像描述语句特征和问题特征，得到综合特征；

根据所述综合特征，在所述答案中预测出最终的回答结果。

2.如权利要求1所述的基于语义对齐的视觉问答方法，其特征在于，所述根据所述原始图像提取原始图像特征和目标位置特征，具体包括：

将所述原始图像输入ResNet网络生成所述原始图像特征；

采用Faster R-CNN框架进行图像区域的目标位置的选取，得到所述目标位置特征。

3.如权利要求2所述的基于语义对齐的视觉问答方法，其特征在于，所述根据所述目标位置特征产生图像描述语句，具体包括：

将所述图像区域输入到预训练的卷积神经网络中得到特征向量，将所述特征向量经过维度转换后输入到LSTM单元序列中，所述图像区域产生对应的描述语句，得到所述图像描述语句。

4.如权利要求1所述的基于语义对齐的视觉问答方法，其特征在于，所述根据所述问题和图像描述语句，得到图像描述单词、问题特征和图像描述语句特征，具体包括：

将所述问题和图像描述语句进行分词，去停用词，根据词频进行筛选得到所述图像描述单词，最终获取一个词表；

对于所述词表中的每个图像描述单词，采用glove词向量进行词嵌入，将所述问题和图像描述语句对应的词嵌入图像描述单词输入到LSTM单元序列，分别得到所述问题特征和图像描述语句特征。

5.如权利要求1所述的基于语义对齐的视觉问答方法，其特征在于，所述将所述原始图像特征与图像描述单词进行语义对齐，得到第一图像特征，具体包括：

将所述原始图像特征与图像描述单词输入一个注意力机制，所述注意力机制包括第一子层和第二子层，

所述第一子层采用多头注意力机制，根据所述原始图像特征与图像描述单词得到注意力权重矩阵；

所述第二子层采用前馈网络，根据所述原始图像特征、图像描述单词和注意力权重矩阵，得到所述第一图像特征。

6.如权利要求1所述的基于语义对齐的视觉问答方法，其特征在于，根据所述原始图像特征和图像描述语句特征，得到第二图像特征，具体包括：

将所述原始图像特征和所述图像描述语句特征相加，得到新的图像区域特征，最终得到所述第二图像特征，所述第二图像特征由所述新的图像特征组成。

7.如权利要求1所述的基于语义对齐的视觉问答方法，其特征在于，所述根据所述原始图像特征和问题特征，得到第三图像特征，具体包括：采用注意力机制，根据所述原始图像特征和问题特征，得到所述第三图像特征。

8.如权利要求1所述的基于语义对齐的视觉问答方法，其特征在于，所述综合特征表示为：

h＝(I₁+I₂+I₃)*Ques*S

其中，h表示综合特征，I₁表示第一图像特征，I₂表示第二图像特征，I₃表示第三图像特征，Ques表示问题特征，S表示图像描述语句特征。