[发明专利]基于因果干预的异常天气下目标检测方法、设备及介质

说明书

本发明提供一种基于因果干预的异常天气下目标检测方法、设备及介质，包括S1、计算实例特征与天气特征的注意力分数；S2、将注意力分数作为天气先验权重与实例特征融合得到融合特征并输出；S3、通过残差结构对实例特征与融合特征进行求和，并输出求和结果；S4、设定S1‑S3的执行次数ksubgt;D/subgt;，根据执行次数ksubgt;D/subgt;重复执行S1‑S3，并将前一次执行输出的求和结果作为后一次执行输入的实例特征，将第ksubgt;D/subgt;次执行输出的求和结果作为最终输出结果；S5、设定S1‑S4的训练轮数B，根据训练轮数B重复执行S1‑S4；S6、结束训练，获得因果干预后的目标检测模型。本发明能够提高模型在异常天气下的检测能力，且具有良好的泛化能力。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于因果干预的异常天气下目标检测方法、设备及介质。

背景技术

目标检测旨在对重要目标定位并分类，近年来，在诸如计算机诊断、人脸识别、自动驾驶等计算机视觉任务中被广泛应用。近期工作虽然在多个基础测试上有着不错的表现，但在面对复杂的户外场景尤其是不同异常天气时(如：雪、雾、雨等)，使目标检测模型保持较高精度仍然具有很大挑战。例如：自动驾驶汽车需要能够适应各种不同的户外环境，而影响自动驾驶汽车走入我们日常生活的一个重要原因，便是目标检测模型在恶劣天气条件下表现不佳。因此改善目标检测鲁棒性和恶劣天气下的表现已经成为计算机视觉方向的一个活跃研究领域。当前学术界流行的方法包括但不限于数据增强，去噪，建立更广泛的数据集等。

现有的目标检测模型主要包括one-stage和two-stage两种策略，其中，two-stage是指检测算法需要分两步完成，首先需要获取候选区域，然后进行分类，例如R-CNN系列；与之相对的是one-stage策略，这类方法不再需要单独寻找候选区域，例如YOLO和SSD系列。其中two-stage方法通常包含三个部分，第一个是用于提取图片特征的主干模型，例如：VGG，ResNet，ResNeXt和DenseNet等；第二个是用于加强特征脖颈部分，例如Feature PyramidNetwork(FPN)，Path Aggregation Network(PAN)；最后一个是用于微调候选框(boundingbox，bbox)位置和分类的处理头。

模型的鲁棒性体现在验证集和测试集的表现差异，而这种差异是由于数据偏见导致的。数据偏见分为三个层次：(1)目标级别；研究中发现在COCO数据集中，马大多数情况与人共同出现，这使模型将马与人进行了目标级别的强关联，进而影响在弱监督语义分割中难以分割马的目标边界；(2)前后景级别；研究中发现，在ImageNet-9中，87.5％的图片在背景更换后会被模型错误分类，这说明模型会将目标与背景进行强关联；(3)全局级别；研究中发现，数据集中一些人口统计学上的变量，例如性别、年龄和人种等会影响模型的表现。我们认为天气腐蚀是一种全局级别的数据偏见，并称为天气偏见，当目标均在某种天气下拍摄，会使模型将目标与该种天气相关联，并进一步影响在其他天气下的表现。

为了改善模型在异常天气下的表现，当前很多检测方法都致力于去除天气偏见对模型的影响：如数据增强、去腐蚀、建模天气环境、建立更广泛的人造数据集和建立更广泛的真实数据集，又或者是设计多尺度网络以及聚合特征。然而，现有的检测方法都存在计算复杂度高，且仅能针对单一腐蚀，难以拓展到其他腐蚀的问题，即缺少一种轻量级、泛化性好的检测方法。鉴于此，本案发明人对上述问题进行深入研究，遂有本案产生。

发明内容

本发明的目的，在于提供一种基于因果干预的异常天气下目标检测方法、设备及介质，解决现有检测方法存在的计算复杂度高，仅能针对单一腐蚀，难以拓展到其他腐蚀的问题；能够实现在多种天气腐蚀下具有良好的泛化能力，且能够在无需增加额外训练数据和大量计算的情况下，提高模型在异常天气下的检测能力。

为了达成上述目的，本发明的解决方案是：

第一方面，本发明提供基于因果干预的异常天气下目标检测方法，方法包括如下步骤：