[发明专利]一种用于多模态目标跟踪的对象感知图像融合方法

权利要求书

1.一种用于多模态目标跟踪的对象感知图像融合方法，其特征在于，所述方法包括以下步骤：

获取自适应融合图像，通过将RGB图像和热模态图像分别输入双通道，对图像进行显著性检测，级联并连接网络中不同层的输出，每个通道包含三个密集块，直接连接深层特征，通过滑动窗口评判图像灰度值大小、像素强度、相似性度量，进而根据像素强度和相似性度量确定一致性损失函数，进一步通过一致性损失函数来自适应引导网络重建融合图像；

特征组合模块使用深度互相关运算将样本提取的特征和搜索图像进行组合，以生成相应的相似性特征用于后续目标定位，然后进行分类和回归进行目标定位；

使用无锚框的回归网络进行跟踪训练，它将groundtruth中边界框内所有像素作为训练样本；通过采用可形变卷积改变采样位置，使其与预测边界框对齐，将分类置信度与目标对象对应；

获取自适应融合图像步骤中所述网络中相似性度量具体为：

其中，X，Y表示为两个模态图片，其中C＝9×10⁴，W为滑动窗口，σ为标准偏差，σXY为X与Y之间的互相关，滑动窗口大小为11×11，通过计算窗口中像素的平均强度来测量SSIM得分；

其中，N为单个图像中滑动窗口的总数，I_rgb为RGB图像，I_r为热图像，I_F为融合图像，当E(I_t|W)大于或者等于E(I_rgb|W)时，意味着热红外图像拥有更多的纹理信息，则SSIM会引导网络保留热红外特征，会使I_F更相似与I_t，反之亦然，其中P_i是像素i的值；

所述一致性损失函数描述如下：

Loss_F＝L_SSIM+λL_OAloss；

其中，λ为超参数，OA是原始图像和融合图像之间的差，||₂是l₂距离。

2.根据权利要求1所述的一种用于多模态目标跟踪的对象感知图像融合方法，其特征在于，所述采用可形变卷积改变采样位置具体为：

将采样网络G执行了空间变换T，将固定采样位置变成预测位置，其中F为输入特征图，w表示学习的卷积权重，c为特征图中上的位置，F′表示输出特征图，空间变换Δτ∈T表示从原始采样点到预测边界框对齐的距离矢量。

3.根据权利要求2所述的一种用于多模态目标跟踪的对象感知图像融合方法，其特征在于，所述采用可形变卷积改变采样位置是指：使其与预测边界框对齐，将分类置信度与目标对象对应。

4.根据权利要求3所述的一种用于多模态目标跟踪的对象感知图像融合方法，其特征在于，所述将分类置信度与目标对象对应具体地：对于分类图中的每个位置(c_{x},

c_{y})，它都有一个由回归网络预测的对象边界框M＝(m_{x},m_{y},m_{w},m_{h})，其中，m_{x}、m_{y}表示边框中心，而m_{w}、m_{h}表示框中心宽度和高度。

5.根据权利要求1所述的一种用于多模态目标跟踪的对象感知图像融合方法，其特征在于，所述无锚框的回归网络进行跟踪训练具体为：若像素坐标(x,y)落入真实框B中，则将其视为回归样本，令B＝(x₀,y₀,x₁,y₁)∈R⁴结果表示像素真实框的左上角和右下角目标对象，计算样本标签为T*＝(d₁,d₂,d₃,d₄)

d₁＝x-x₀,d₂＝y-y₀,

d₃＝x₁-x,d₄＝y₁-y,

代表从位置到边界框的四个边的距离。