[发明专利]一种基于重点区域实景建模的视频目标检测与跟踪方法

权利要求书

1.一种基于重点区域实景建模的视频目标检测与跟踪方法，其特征在于：包括以下步骤：

步骤一、输入重点区域的卫星定位信息L，通过逆地理编码函数得到重点区域的3维全景地图BMAP，然后对重点区域的3维全景地图进行稀疏点采样，得到重点区域的实景建模数据集b＝Ω(BMAP)；接着，将获取到的实景建模数据输入到刚性不变特征提取器来获取实景建模数据的高层特征S；

步骤二、将步骤一所得重点区域的卫星定位信息L输入天气查询函数Υ(.)中，得到天气信息W_dic后输入雨雾判断器来判断重点区域是否为良好天气；若非良好天气，则将重点区域的视频流输入到多阶段渐进式图像恢复模块，来进行图像预处理来获取纯净的视频数据；

步骤三、将进行预处理之后的视频数据转换为图片并输入到骨干网络ResNet50中得到高层语义特征C₅；接着，利用空洞残差编码器对骨干网络输出的高层语义特征C₅进行编码，并将空洞残差编码器输出的特征输入到空洞残差模块中，以此来捕获不同感受野特征，最终得到多种感受野的融合特征P₅；

步骤四、将步骤三所得融合特征P₅与步骤一所得实景建模数据的高层特征S进行融合，即：使用跨模态注意模块获取两种模态的注意力；然后再使用多层感知机网络进行非线性拟合，接着，利用得到的当前帧特征图叠加前一帧的特征图，得到连续两帧的特征融合图

步骤五、将步骤四特征融合图拉伸后得到编码器的输入特征点向量C为特征融合图的通道数，结合参考特征点与其偏移量得到最终的采样点向量；利用查询向量与得到的最终关键值采样点向量，得到当前帧的特征图的Transformer编码器输出，然后利用目标查询与关键值采样点向量获得当前帧解码器输出的目标特征，同时利用前一帧的目标特征作为当前帧的跟踪查询向量v_qt，同样经过解码器后获得跟踪特征D为跟踪解码器；

步骤六、将步骤五中目标特征和跟踪特征通过前馈神经网络分别得到检测框以及跟踪框，利用匈牙利匹配方法将检测框与跟踪框建立匹配关系，得到最终跟踪结果。

2.根据权利要求1所述的基于重点区域实景建模的视频目标检测与跟踪方法，其特征在于：所述步骤一重点区域实景建模数据处理包括：

输入重点区域的卫星定位信息，然后利用逆地理编码函数获取重点区域的3维全景地图BMAP，BMAP＝T(L)，其中，L代表重点区域的经纬度信息且经度在前纬度在后，BMAP代表获取到的3维全景地图数据；

接着，利用点采样函数对3维全景地图数据进行稀疏点采样：b＝Ω(BMAP)；其中，代表抽取到的点云数据，N表示点的数目且每一个点的坐标为(x,y,z)；

将获取到的点云数据输入到刚性不变特征提取器以此获取点云的高层特征S：

S＝MAXPOOL(MLPs(b))；

其中，MLPs表示一系列多层感知机，MAXPOOL代表的是矩阵的取最大数操作，S代表的是点云的高层特征。

3.根据权利要求1所述的基于重点区域实景建模的视频目标检测与跟踪方法，其特征在于：所述步骤二的具体过程为：

先对重点区域的视频流进行处理：

利用卫星定位获取的重点区域的经纬度信息，通过使用天气查询函数Υ(.)，得到重点区域的天气信息W_dic，若是良好天气则其值为1，否则为0，即：W_dic＝Υ(L)，其中，L代表重点区域的经纬度信息且经度在前纬度在后，W_dic代表得到的该区域的天气信息；若天气字典数据为0则传入多阶段渐进式图像恢复模块进行去雾去雨处理。