[发明专利]一种采用多维度融合的多船舶跟踪方法

说明书

本发明公开了一种采用多维度融合的多船舶跟踪方法，包括：图像预处理；通过前端特征提取模块提取船舶特征；将当前帧船舶目标特征图分别与之前所有帧中船舶目标的特征图经特征融合模块进行融合，得到融合后特征；将融合后特征经后端特征提取层得到当前帧船舶目标与之前所有帧中船舶目标之间的关联矩阵，根据相似性得到预跟踪的结果；将预跟踪的结果利用运动匹配优化模块进行优化得到最终跟踪结果。本发明引入ASPP模块提高网络对于不同尺寸目标的建模能力，使得特征更能表达语义信息；提出了联合检测区域建模模块，进一步提升建模能力；提出运动匹配优化模块达到对预跟踪结果的优化与精修，使得跟踪器更为稳定，不过度于依赖检测器的性能。

技术领域

本发明涉及一种多船舶跟踪方法，特别是一种采用多维度融合的多船舶跟踪方法，属于数字图像处理领域。

背景技术

海洋监测是海洋环境保护和沿海国家执法的主要内容。随着海上交通的快速发展，船舶进出海道的数量不断增加，导致海道运输密度不断增大。与陆地交通不同，海洋上没有任何交通信号灯和交通标记来规范船舶的航行，从而使得船舶碰撞事故的发生成为一种可能。因此，对于利用计算机视觉和图像处理技术来分析每个船舶的运动轨迹，进而可以处理上述意外问题的多船舶跟踪技术的研究显得尤为重要。

现有的多船舶跟踪方法主要分为以下5类：基于特征点的多船舶跟踪方法、基于水平集的多船舶跟踪方法、基于贝叶斯网络的多船舶跟踪方法、基于光流的多船舶跟踪方法和基于卡尔曼滤波的多船舶跟踪方法。然而，由于海洋背景的局限性和特殊性，对多船舶跟踪问题的研究相对有限。现有的多目标跟踪方法主要可以归纳为7类：基于前景建模的多目标跟踪方法，基于动态规划的多目标跟踪方法，基于光流的多目标跟踪方法，基于聚类的多目标跟踪方法，基于条件随机场的多目标跟踪方法，传统的基于机器学习的多目标跟踪方法和基于神经网络的多目标跟踪方法。其中根据目标的初始化方式的不同，多目标跟踪算法又遵循着两条主线：基于检测的多目标跟踪方法和脱离检测的多目标跟踪方法，由于检测算法的逐步完善，基于检测的多目标跟踪方法较多。但是，由于多船舶跟踪问题的特殊性，即与多目标常见跟踪背景(行人、车辆)不同的是，由于海天背景的广阔性，导致远海目标和近海目标总是同时存在，因此需要将多尺度目标的跟踪问题考虑在内，这就导致当前性能优异的多目标跟踪方法也不能直接适用于多船舶跟踪问题；同时，基于检测的多目标跟踪技术过分的依赖于检测器性能的优劣，导致跟踪器的性能也会受到影响。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种更稳定精度更高的适用于多船舶跟踪问题采用多维度融合的多船舶跟踪方法，以解决利用现有的多目标跟踪算法进行多船舶跟踪任务时出现的精度下降的问题。

为解决上述问题，本发明的一种采用多维度融合的多船舶跟踪方法，包括以下步骤：

S1：对全部输入图片进行预处理；

S2：将预处理后的图片输入到前端特征提取模块中进行船舶特征的提取，具体为：输入的图像首先经过32个特征提取层进行特征的初步提取；在32个体征提取层中随机挑选两处添加ASPP模块；接着从这34个特征提取层中选择9层，并提取这9层各自的输出特征图；最后，将挑选的特征图输入联合全局检测区域建模模块进行特征的提取与表达，输出对应于输入图像帧中所有船舶目标的特征表达结果；

S3：将按照S2的方式得到的当前帧船舶目标的特征图分别与之前所有帧中船舶目标的特征图经特征融合模块进行融合，得到融合后的特征；

S4：将融合后的特征经后端特征提取层得到当前帧船舶目标与之前所有帧中船舶目标之间的关联矩阵Nm代表每帧图像最大的船舶目标个数，表示当前帧中的船舶与先前帧中的船舶之间的相似性，得到预跟踪的结果；

S5：将预跟踪的结果利用运动匹配优化模块进行优化得到最终的跟踪结果。

进一步的，S1中对输入图片进行预处理具体包括：