[发明专利]基于多尺度深度特征差值融合网络的变化检测方法

说明书

本发明公开了一种基于多尺度深度特征差值融合网络的变化检测方法，包括：基于孪生卷积神经网络，对Dec阶段的图像深度特征用Enc模块进行内编码处理；对多尺度的图像深度特征进行交叉编码处理；使用两通道的卷积层作用于多尺度的深度特征融合差异信息，获取多尺度变化概率图并拼接，得到预测变化概率图；分别计算多尺度变化概率图以及预测变化概率图的交叉熵损失函数，对损失函数进行累加获取最终的损失函数；使用真值图的变化区域为中心，对输入图像和真值图进行裁剪和翻转以此实现对训练数据的扩展，构建成多尺度深度特征差值的融合网络；根据扩展后的训练数据训练融合网络，输入查询图像和参考图像，输出变化检测结果。

技术领域

本发明涉及变化检测领域，尤其涉及一种基于多尺度深度特征差值融合网络的变化检测方法。

背景技术

变化检测研究同一场景不同时刻得到的图像所发生的变化，被广泛应用到资源监控、异常检测、视频监控、以及自动驾驶等领域。

传统的变化检测方法，最常用的是差值法，它求得变化前后两图像的差值图再用阈值分割得到变化和未变化区域。此外还有比值法，变化向量分析法等。这类方法简单直接易于理解，但是易受到光照变化和相机位姿差异等外在噪音的影响从而影响变化检测结果。Feng^[1]等人提出了一个联合优化方法，对相机位姿，光照和变化结果进行联合优化，在微变检测领域取得良好的效果。

目前较为流行的是基于深度学习的变化检测方法，该方法用深度网络提取图像特征并对原始图像与变化真值图进行端到端的训练学习，能够有效克服由于光照变化和相机位姿差异所引入的变化噪声。Sakurada^[2]等人提出将变化前后的图像对和光流图输入CNN(Convolutional neural network,卷积神经网络)以克服光照和相机影响。Huang^[3]等人提出一个由相机位姿校正网络和变化检测网络相结合的微变检测模型，有效克服光照与相机位姿影响。

现有的基于深度学习的变化检测方法可以有效克服光照等噪音影响，但是大多只是使用了深度网络最后一层提取的图像特征，并没有充分利用图像的多尺度信息，导致传统变化检测方法易受到光照变化和相机位姿差异的影响产生错误的变化检测结果。

参考文献

[1]W.Feng,F.-P.Tian,Q.Zhang,N.Zhang,L.Wan,J.Sun,Fine-grained changedetection of misaligned scenes with varied illuminations,in:Proceedings ofthe IEEE International Conference on Computer Vision,2015,pp.1260–1268.

[2]K.Sakurada,W.Wang,N.Kawaguchi,R.Nakamura,Dense optical flow basedchange detection network robust to difference of camera viewpoints,arXivpreprint arXiv:1712.02941.

[3]Huang R,Feng W,Wang Z,et al.Learning to detect fine-grained changeunder variant imaging condit ions[C]//Proceedings of the IEEE InternationalConference on Computer Vision.2017:2916-2924.

发明内容

本发明提供了一种基于多尺度深度特征差值融合网络的变化检测方法，本发明设计了有效的孪生卷积神经网络模型，采用内编码技术融合图像多尺度信息、用交叉编码技术捕获图像变化前后的多尺度差异特征，并融合了从较高层到较低层的变化差异特征，用多层损失函数训练网络，以解决变化检测中由光照和相机位姿引入的噪音问题，详见下文描述：