[发明专利]一种基于差异特征迭代增强的高质量变化检测方法及装置

说明书

本发明公开了一种基于差异特征迭代增强的高质量变化检测方法及装置，包括：通过噪声模拟干扰，确定特征差异质量对变化检测结果的影响；利用U‑Net提取多尺度卷积特征；构建IDET模块，从两个输入的多尺度卷积特征中生成差异信息，并进行迭代细化，获取各个尺度的高质量特征差异图；将各尺度的高质量特征差异图输入由多个卷积模块构建的从粗到细的策略中生成各尺度变化图，再将各尺度变化图融合生成最终变化图。装置包括：处理器和存储器。本发明使特征差异得到优化，抑制了不变区域，得到高质量变化图。

技术领域

本发明涉及变化检测领域，尤其涉及一种基于差异特征迭代增强的高质量变化检测(iterative difference-enhanced transformers,IDET)方法及装置。

背景技术

变化检测(Change Detection，CD)旨在从不同时间拍摄的图片组中检测出由物体变化(例如场景中新出现的物体)引起的变化区域，其在城市发展，灾难预测，资源监控等方面都有广泛的应用。然而由于两张图片可能会在不同的角度及光照条件下拍摄，并且背景中的场景可能会发生未知的变化，导致变化检测仍然十分具有挑战性。

在文献[1]中，一个简单的想法是计算两幅图像特征之间的差异，并将特征差异映射到最终的变化图，利用特征和特征差异来克服环境变化和位置失调。一个代表性的工作在文献[2]中提出了交叉编码的特征来计算图像对的特征差异，并生成一个变化图。文献[3]中的流体金字塔集成(fluid pyramid integration，FPIN)网络使用复杂的特征提取网络通过提高特征表示能力来提高CD精度。文献[4]中另一项工作提出了位置相关注意、通道相关注意和变化差异模块来捕获两个图像的相关性。上述最新的(state-of-the-art，SOTA)方法专注于设计先进的网络体系结构，将特征差异映射到最终的变更图。这些方法虽然能达到令人印象深刻的检测精度，但忽略了特征差异的质量影响。直观地说，如果特征差异能够清楚地突出主要的变化，同时抑制未改变的区域，就能够更容易地实现高质量的变化图。

另外，自文献[5]提出以来，该变化网络就因其长期依赖性而被广泛应用于大多数自然语言处理(natural language processing,NLP)任务中。最近，其在计算机视觉任务中表现出了良好的性能，如文献[6]中的图像分类，文献[7]的目标检测，文献[8]中的语义分割等。变化网络模型的优异性能启发了对其在CD中的应用进行研究。到目前为止，将变化方法用于CD任务的工作还很少。

文献[9]中提出的双时态图像转化方法(bitemporal image transformer,BiT)，变化网络编码器可以对变化对象的语义信息进行建模，以细化解码器预测的粗变化映射。然而，当变化的对象较小且变化多样时，语义标记的学习是很困难的。文献[10]中的ChangeFormer网络由一系列分层结构的变换网络编码器组成，用于提取远程特征以生成变化掩码。由于其编码器的分辨率较低，不能捕捉到边界的详细变化。

参考文献

[1]Huang,R.；Zhou,M.；Xing,Y.；Zou,Y.；and Fan,W.2021.Change detectionwith various combinations of fluid pyra-mid integrationnetworks.Neurocomputing,437:84–94.

[2]Huang,R.；Zhou,M.；Zhao,Q.；and Zou,Y.2020.Change detection withabsolute difference of multiscale deep features.Neurocomputing,418:102–113.