[发明专利]一种基于区域图像特征关注网络与最近邻排序的描述方法

摘要

本发明实施例公开了一种基于区域图像特征关注网络与最近邻排序的描述方法，结合全局与区域性的图像特征信息，使得图像描述既能输出整体信息，又能突出细节信息；设计了挖掘深度语义信息的双层语义层和一个用来增加循环神经网络的垂直深度的栈式门循环单元，学习更具深度的图像与单词之间的语义映射；采用最近邻算法与语义相似性对生成的候选描述进行重排序，使得最终输出的句子描述更加合理。

主权项

一种基于区域图像特征关注网络与最近邻排序的描述方法，其特征在于，包括以下步骤：S1：采用Googlenet模型作为CNN初始模型，从全连接层中取出图像的特征参数向量作为图像的全局视觉表示；S2：将所述图片输入到VGGnet CNN模型中，从VGGnet第五卷积层的第三层中取出区域性图像卷积化特征关注映射；S3：将全局图像特征向量和深度语义表示输入到栈式门循环单元中，解码出图像对应的语义信息；S4：采用注意力机制的策略，根据栈式门循环单元的隐含层输出，对区域性图像卷积化特征关注映射进行权重赋值，形成上下文向量，引导系统对区域性图像信息的关注；S5：用变式双曲正切函数将栈式门循环单元的隐含层输出与上下文向量通过一个双模态层结合起来，采用集束搜索算法生成候选的图像描述；S6：在MSCOCO数据集上运用最邻近算法找到最接近的图像及其句子描述，形成参考句子描述，最后计算候选描述与参考描述间的累积语义相似性，选出最终的句子描述。