[发明专利]一种基于多尺度特征关联的图像变化检测方法

说明书

本发明提供一种基于多尺度特征关联的图像变化检测方法。本发明首先选取数据集并进行预处理，然后搭建变化检测网络，对参考图像和当前图像同时进行特征提取；再对提取出的图像特征进行特征关联和融合，然后通softmax函数获得网络的输出，最后把测试集图像输入训练好的变化检测网络模型中，变化检测网络输出对每个像素类别判断的置信度结果。本发明方法提高了检测速度和扩大了变化检测技术的应用场景，使得特征信息中既包含了更多的细节信息和高层次的语义信息，可以有效的提高变化区域的检测效果和检测精度。

技术领域

本发明涉及深度学习和计算机视觉领域，具体的涉及通过神经网络模型实现对图像之间变化区域的检测方法。

背景技术

现实场景中的场景理解是一个非常具有挑战性的问题，其发展程度还远远不能满足当前的应用需求。在一些城市智能监控，遥感图像分析等领域，通过视觉变化检测技术是一种比较好的方案检测城市特定区域的变化，遥感图像中地理信息的变化等。视觉变化是一种高层次的推理任务，旨在准确识别参考图像(历史)和当前图像场景之间的变化。在智能城市建设中，检查公共场合的非法侵占是一项重要的任务，这种侵占主要是指在公共区域被不合理的暂用。通常在城市监管中都是政府人员通过人工进行检查判断，这种方式是相当的耗时，在深度学习的快速发展一下，我们可以使用基于深度学习的计算机视觉技术进行判断，在城市中被侵占的公共区域相比于之前未被侵占的情况属于变化区域。我们可以通过变化检测的方法对这种情况进行检测。在视频分析中，变化检测也常被用作高层次的场景理解，常通过比较任意两个连续帧或短期时间内视频背景中的变化。在遥感图像的研究中，遥感图像中的变化一般是指地表成分的变化，在土地的利用率分析以及土地资源勘探中非常的有用。通过变化检测方法对遥感图像进行检测有助于对土地变化情况的快速分析。

对两幅图像之间视觉变化检测的一些关键挑战主要包括光照，对比度，噪声，拍摄角度变化，遮挡等因素。在传统的图像处理方法中对光照，对比度和噪声等因素的干扰有较好的处理方法，但是对于拍摄角度变化，遮挡等并没有很好的解决方案。在深度学习的快速发展一下，通过大量的数据驱动使得网络模型对图像间的变化内容检测变成了一种切实可行的方法。

发明内容

针对现有技术中存在的不足，本发明提供一种基于多尺度特征关联的图像变化检测方法。对不同视角、光照和季节拍摄的相同场景的图像进行变化检测，需要检测出图像相比于参考图像的变化区域以及区域中物体的类别(如：车辆、垃圾桶)。

本发明通过搭建一个双输入的特征提取网络，使用多尺度的方法对从两种图片中提取出的特征信息进行关联，预测出图像变化的区域和变化类别。输入的卷积网络同时提取两张对比图像的特征信息，然后选取不同尺度的特征图进行上采样，并通过一种关联算法对两种图像的特征图进行关联，得到关联数据，并使用softmax分类器对特征进行分析，得到变化区域和变化类别。

本发明的具体步骤如下：

步骤(1)、选取数据集并进行预处理；

步骤(2)、搭建变化检测网络；

变化检测网络的特征提取层采用ResNet50网络，同时采用了特征金字塔的设计方式。

步骤(3)、对参考图像和当前图像同时进行特征提取；

步骤(4)、对提取出的图像特征进行特征关联和融合；

步骤(5)、损失函数的使用；

变化检测网络采用端到端的方式进行训练，整个网络的损失函数为：

其中y_i为变化检测网络的输出,表示数据集中的标记值(Ground Truth)；

步骤(6)、输出结果

把测试集图像输入训练好的变化检测网络模型中，变化检测网络输出对每个像素类别判断的置信度结果。