[发明专利]一种空基多平台的协同监视方法

摘要

本发明公开了一种空基多平台的协同监视方法，属于信息技术领域。对跟踪目标进行多角度协调监视，获取待检测视频；对各视频中的各帧图像进行检测，输出裁剪图片和对应的置信度。将置信度高于等于阈值Hd的裁剪图片与跟踪目标进行匹配，计算裁剪图片与跟踪目标之间的相似度。将相似度高于等于目标相似阈值Hs的裁剪图片保留并列为感兴趣区域，该帧升级为感兴趣帧。在感兴趣帧中选取清晰成像的某帧图像进行精确跟踪，得到跟踪目标的最佳匹配位置。若最佳匹配位置对应的最高分数高于等于设置的跟踪阈值Ht，则监视器保持监视状态，对清晰图像的下一帧进行处理。本发明实时调整监视器的角度和位置，对目标进行协同监测和修正，最终达到精确的监视效果。

主权项

1.一种空基多平台的协同监视方法，其特征在于，具体步骤如下：步骤一、针对某个跟踪目标，利用多个监视器摄像头同时对其进行多角度协调监视，同步获取多个待检测视频，逐帧提取视频片段；步骤二、针对同一时间的各视频中的各帧图像，依次选取其中一帧使用SSD目标检测网络进行检测，输出该帧图像的裁剪图片以及对应的置信度；步骤三、判断当前帧中所有裁剪图片的置信度是否均低于设置的检测阈值Hd，如果是，则移至下一帧，返回步骤二，监测器保持搜寻状态；否则，进入步骤四；步骤四、将当前帧中置信度高于等于阈值Hd的裁剪图片与被跟踪目标同时送入Siamese网络进行匹配，计算各个裁剪图片与跟踪目标之间的相似度；将当前帧中置信度低于阈值Hd的裁剪图片舍弃；步骤五、针对置信度高于等于阈值Hd的裁剪图片，判断是否全部低于设置的目标相似阈值Hs，如果是，则移至下一帧，返回步骤二，监测器保持搜寻状态；否则，逐个判断各裁剪图片的相似度与目标相似阈值Hs的大小，将高于等于目标相似阈值Hs的裁剪图片保留并列为感兴趣区域，该帧升级为感兴趣帧，监测器进入监视状态；将低于目标相似阈值Hs的裁剪图片舍弃；步骤六、进入监视状态的监测器及时微调摄像头位置以及缩放倍率，将感兴趣帧中所有的裁剪图片中的物体进行清晰成像，并逐帧提取视频片段；步骤七、依次选取清晰成像的某帧图像，采用Siamese‑FC孪生跟踪网络进行精确跟踪，得到跟踪目标的最佳匹配位置；具体步骤如下：首先，将重新成像的整张图片X纳入跟踪器，该图片X与被跟踪目标z同时输入Siamese‑FC孪生跟踪网络，分为两路卷积：在整张图片X上应用非线性函数进行卷积操作，提取图片的特征以及在被跟踪目标z上应用非线性函数进行卷积操作，提取被跟踪目标的特征然后，在两路卷积层之后，计算和的相似度：进而，逐次滑窗计算各滑窗的匹配度：滑窗位置(i,j)的匹配度Mi,j为：特征的尺寸为a×b，特征的尺寸为w×h，0≤i≤w‑a，0≤j≤h‑b；m,n为特征的各个位置，通过m,n的遍历能够依次取到的每个元素值；Siamese‑FC孪生跟踪网络通过一层卷积代替滑窗计算匹配度，最终得到一个特征图，其上分数最高的点代表最佳匹配位置，还原到步骤一拍摄的原始图像上即可得到跟踪目标所在的位置；步骤八、判断当前帧中的最佳匹配位置对应的最高分数是否高于等于设置的跟踪阈值Ht，如果是，则监视器保持监视状态，返回步骤七对清晰图像的下一帧进行处理；否则，监视器微调摄像头位置以及缩放倍率回到搜寻状态，返回步骤一进行目标搜寻。