[发明专利]基于卷积神经网络的视觉场景识别方法

摘要

本发明涉及一种基于卷积神经网络的视觉场景识别方法，包括：利用原始数据集获得感知偏差和感知变异的图像对；用预训练的卷积神经网络模型CNN进行特征提取；由卷积神经网络不同层的特征构建特征差异图；构建新的分类模型对特征差异图进行训练。

主权项

1.一种基于卷积神经网络的视觉场景识别方法，包括下列步骤：/n1)利用原始数据集获得感知偏差和感知变异的图像对/n对原始数据集采取如下措施：(1)从来自同一场景的图片中任取两张获得3组图片对；(2)对来自不同场景的图片从包括光照，视角，内容在内的多方面入手找到外观极其相似的图片对，最终得到来自同一场景的发生感知变异的多组图片对和来自不同场景的发生感知偏差的多组图片对，从中选出测试集；/n2)利用预训练的卷积神经网络模型CNN进行特征提取/n对获得的图像对{I₁,I₂}，利用预训练的卷积神经网络模型vgg16进行特征提取，每一层都得到一个四维的特征映射feature maps；/n3)由卷积神经网络不同层的特征构建特征差异图，步骤如下：/n(1)把经过特征提取后每一层得到的四维的特征映射feature maps转化为一维向量，向量的维度为特征映射feature maps后三维元素的乘积；/n(2)对两幅图像的转化为一维向量后的CNN特征做差，然后对得到的差值向量进行标准化，使得其元素的取值在[0,1]之间；/n(3)把每一层得到的标准化后的一维向量转化为图片，得到由同一层CNN特征构建的两幅图片的特征差异图；/n(4)对每一层得到的特征差异图添加标签，来自不同场景的标记为d，来自相同场景的标为s；/n4)构建新的分类模型对特征差异图进行训练，具体如下：/n(1)构建新的分类模型；/n(2)利用xavier进行权重初始化，设置相关训练参数，优化方法为Adam，学习率为0.01，动量值为0.9；/n(3)前向传播：输入特征差异图，通过卷积、池化、全连接和ReLU非线性化得到输出值，结合标签，计算相应的loss；/n(4)反向传播：调用反向传播算法计算每层的梯度，并根据选用的优化方法进行权重更新；/n(5)反复进行迭代，直到达到终止条件，同时对模型进行保存。/n