[发明专利]基于图像上下文信息的场景识别方法及装置

权利要求书

1.一种基于图像上下文信息的场景识别方法，其特征在于，包括以下步骤：

将预设图像划分为多个图像块，以提取每个图像块的图像块特征；

根据所述每个图像块的图像块特征通过显著性模块生成序列信息，以得到图像块在语义上的相关关系；

根据所述图像块在语义上的相关关系对所述每个图像块及其上下文信息进行编码，以得到上下文信息特征，进一步包括：利用长短时记忆网络获取具有处理时序信息的特性；加入门模块，利用所述长短时记忆网络过滤掉所述图像块中不具有判别性能的特性；借助所述长短时记忆网络存储对所述图像块及所述上下文信息进行编码；以及

获取全局表观信息，并根据所述全局表观信息和所述上下文信息特征得到特征表达信息，以得到场景识别结果。

2.根据权利要求1所述的基于图像上下文信息的场景识别方法，其特征在于，所述将预设图像分化为多个图像块，进一步包括：

将训练集和测试集中所有预设图像归一化到相同尺寸大小；

将归一化处理后的所述预设图像通过滑动窗口分割成所述多个图像块；

利用卷积神经网络提取所述每个图像块的图像块特征。

3.根据权利要求1所述的基于图像上下文信息的场景识别方法，其特征在于，所述相关关系的计算公式为：

f＝relu(W_vV+W_hh_t-1+W_ee_t-1)

其中，f是通过感知器融合了图像块特征V，长短时记忆网络隐层特征h以及图像语义特征e，W是对应感知器的参数，t为当前时刻，h_t-1为前一时刻隐层特征，e_t-1为前一时刻上下文特征，W_v为图像块特征的对应感知器参数，W_h为长短时记忆网络隐层特征的对应感知器参数，W_e为图像语义特征的对应感知器参数是对softmax函数的具体表示，f是感知器的融合特征，W_i为关注第i个图像块时的权重参数，W_j表示关注第j个图像块时的权重参数，L代表图像块的个数,ν_i为第i个区域块对应的区域特征，α代表下一时刻模块所关注的图像块的概率，α_i代表下一时刻关注第i个图像块的概率，L是所有图像块的数量，z被视为下一时刻图像块的概率特征，通过设置T次的迭代，模块会输出序列特征{z₁,z₂...z_T}，z_t分别与z_t-1和z_t+1在语义层面存在相关关系。

4.根据权利要求1所述的基于图像上下文信息的场景识别方法，其特征在于，所述全局表观信息利用卷积神经网络对整张图像进行特征提取，所述上下文信息特征基于所述图像块进行获取。

5.一种基于图像上下文信息的场景识别装置，其特征在于，包括：

提取模块，用于将预设图像划分为多个图像块，以提取每个图像块的图像块特征；

生成模块，用于根据所述每个图像块的图像块特征通过显著性模块生成序列信息，以得到图像块在语义上的相关关系；

编码模块，用于根据所述图像块在语义上的相关关系对所述每个图像块及其上下文信息进行编码，以得到上下文信息特征，所述编码模块进一步包括：

获取单元，用于利用长短时记忆网络获取具有处理时序信息的特性；

过滤单元，用于加入门模块，利用所述长短时记忆网络过滤掉所述图像块中不具有判别性能的特性；

编码单元，用于借助所述长短时记忆网络存储对所述图像块及所述上下文信息进行编码；

获取模块，用于获取全局表观信息，并根据所述全局表观信息和所述上下文信息特征得到特征表达信息，以得到场景识别结果。