[发明专利]基于因果干预的异常天气下目标检测方法、设备及介质

权利要求书

1.一种基于因果干预的异常天气下目标检测方法，其特征在于，方法包括如下步骤：

步骤S0、将目标训练图片输入到在ImageNet数据集上预训练的VGG网络模型中，并提取VGG网络模型中第一个max pooling层的输出作为目标训练图片的天气特征；将提取的天气特征输入到RoIAlign中，并展平为一维向量，每种天气特征均是该天气对应的所有天气图片的一维向量的均值，最终得到N_W×_W的天气特征矩阵其中，w_i表示第i种天气特征，N_W表示天气种类的数量，_W表示天气向量的维度；根据ImageNet数据集中各种天气图片的数量，确定第i种天气出现的概率P(w_i)，得到天气先验概率向量其中，p_i＝P(w_i)，R表示自然数集；

步骤S1、通过注意力编码部件计算实例特征与天气特征的注意力分数，所述的通过注意力编码部件计算实例特征与天气特征的注意力分数具体包括：

给定实例特征X、天气特征W和天气先验概率p；其中，N_X表示实例特征的数量，d_X表示每个实例特征的维度；

通过注意力编码部件计算注意力分数矩阵其中，Q＝₁X，K＝₂W，σ表示放缩因子，d_v表示注意力编码的维度，T表示矩阵转置，W₁和W₂是Linear Layer；将实例特征和天气特征映射到相同维度，求得用a_ij表示注意力分数矩阵a的第i行第j列元素，即a_ij表示第i个实例特征对应第j种天气特征的注意力分数；

步骤S2、注意力编码部件将注意力分数作为天气先验权重与实例特征进行融合得到融合特征，并输出融合特征，所述的注意力编码部件将注意力分数作为天气先验权重与实例特征进行融合得到融合特征具体包括：

注意力编码部件将得到的注意力分数作为一个软掩码，自动选择对于每个实例特征重要的天气特征；

将天气先验概率p复制扩展为与K相同维度的矩阵，表示为其中，且P_i的每个元素相同，都为第i种天气的天气先验概率；然后将P和K进行点乘，表示在对应天气先验概率下的天气特征；最后将注意力分数与处理后的天气特征相乘进行融合，并用一个线性层将最终融合结果映射到指定的维度后输出，具体如式(1)：

Attention(X,W)＝matmul(a,K·P)W_a+_a  (1)

在式(1)中，W_a表示线性变化中的权重，b_a表示线性变化中的偏置；

步骤S3、通过残差结构对实例特征与输出的融合特征进行求和，并输出求和结果；

步骤S4、设定步骤S1-S3的执行次数k_D，k_D为正整数；根据执行次数k_D重复执行步骤S1-S3，并且将前一次执行输出的求和结果作为后一次执行输入的实例特征，将最后一次执行输出的求和结果作为最终输出结果，之后进入步骤S5；

步骤S5、设定步骤S1-S4的训练轮数B，B为正整数；根据训练轮数B重复执行步骤S1-S4，并在达到设定的训练轮数B后，进入步骤S6；

步骤S6、结束训练，获得因果干预后的目标检测模型。