[发明专利]一种用于视频中船舶目标跟踪的方法

说明书

本发明公开了一种用于视频中船舶目标跟踪的方法，在一个实施例中，针对水面监控视频中船舶跟踪设计包括如下步骤：使用基于深度学习的检测器产生当前帧的船舶目标框和船舶类别，使用triplet loss训练的卷积神经网络提取目标框内特征；计算当前帧的检测和现存轨迹的类别代价；计算当前帧的检测和现存轨迹的深度特征代价；计算当前帧的检测和现存轨迹预测位置代价；计算当前帧的目标框与轨迹预测目标框的交并比代价；使用上述四种代价对当前帧的检测与现存轨迹进行匹配；对未能与现存轨迹匹配上的检测生成新轨迹，删去持续一定次数仍未能与检测匹配上的轨迹。具有结合多种特征、充分考虑船舶跟踪中运动遮挡状态的优点。

技术领域

本发明涉及一种用于视频中船舶目标跟踪技术，属于船舶交通监管技术领域。

背景技术

目前的船舶交通管理系统(VTS)主要是依靠AIS和雷达进行船舶的跟踪。但是目前这两种传感器依然存在一定的缺陷。A类AIS仅在载重300吨及以上的船舶中规定安装，因此容易造成中小型船舶的漏检，且根据船舶运动状态的变化，信息更新速率从2s～3min不等，信息更新速率较慢。雷达受海浪杂波、雨雪天气的影响较大，且距离误差较大，IMO规定船用雷达的测距误差不能超过最大量程的1.5％且不能超过70m，雷达信息更新速率为2s～4s。而VTS中的高清摄像头能够采集丰富的信息，且具有信息更新速率远大于AIS和雷达的优点。结合摄像机标定技术，摄像头也能够像AIS与雷达一样给出地平线上目标的真实世界坐标。随着视频处理技术的发展，现在的图像识别技术已经能够快速准确地检测到视频帧的船舶并生成目标框和标签，但是传统的基于Kalman滤波器的跟踪方法只能利用目标的位置信息，不能充分利用视频提供的信息，因此有必要为视频船舶设计一种准确的跟踪方案。

发明内容

技术问题：鉴于传统的基于Kalman滤波器的跟踪方法不能充分利用视频所提供的信息，因本发明的目的是为船舶视频提供一种能够充分利用视频信息，达到高准确率的船舶跟踪方法。

技术方案：为了实现以上目的，本发明采用如下技术方案：

得到当前视频帧的船舶目标数目N及各目标对应的检测框和标签，并用训练好的卷积神经网络分别提取每个检测的深度特征；对于N个目标和现存的M个轨迹，计算每一个检测-轨迹对的匹配代价作为代价矩阵，其中代价矩阵由标签代价、深度特征代价、位置代价和交并比代价构成，代价矩阵初始化为一个全为NaN的N*M矩阵，用余弦距离计算检测-轨迹对的标签代价，对于标签代价小于阈值的检测-轨迹对计算深度特征代价，对于深度特征代价小于阈值的检测-轨迹对计算位置代价，代价矩阵相应位置更新为三种代价之和；对于上述三种代价有任一种大于阈值的轨迹-检测对计算带阈值的交并比代价，代价矩阵相应位置更新为带阈值的交并比代价；根据代价矩阵，用全局最近邻进行目标与轨迹匹配；对于所有的现存轨迹，使用Kalman滤波器预测它们下一帧的状态。

作为一种优选实施方式，Kalman滤波器可以替换为具有恒定加速度的EKF。

有益效果：和以往基于Kalman滤波器的跟踪方式相比，本发明充分利用了视频所能够提供的信息，包括船舶的标签信息、船舶目标的深度特征信息和船舶目标的位置信息，并且对用于匹配的每一种代价都设置相应的阈值，对超过阈值的检测-轨迹对计算交并比，有效的防止错误匹配，以及运动遮挡时冗余轨迹的产生。

附图说明

图1是根据本发明实施例的流程图；

图2是代价矩阵的计算流程图；

图3是标签代价；

图4是提取目标深度特征的卷积神经网络结构；

图5是传统的基于Kalman的跟踪方法的结果；

图6是本申请的方案得到的跟踪结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。