[发明专利]一种摄像机平滑联动跟踪船舶方法

说明书

本发明提供了一种摄像机平滑联动跟踪船舶方法，实现利用孪生神经网络对连续视频画面中的船舶目标检测、跟踪，获取船舶目标检测跟踪结果相对于图像位置，通过云台控制协议(PELCO‑D)控制摄像机云台上下左右、镜头焦距远近，在船舶运动过程中，云台和镜头控制保持平滑运动，画面不会出现明显的抖动，船舶始终处于视频画面的中心。本发明可用于多个涉水领域，如海事领域的船舶交通管理领域、渔政领域的渔场监管、海警领域的船舶监视等；与基于船舶交通管理系统(VTS)船舶位置的联动跟踪相比，本发明使用图像目标检测、跟踪，图像跟踪效果实时性强、跟踪效果更好，能够适用于船舶交通服务系统中船舶位置信号更新慢、联动跟踪效果要求高场景。

技术领域

本发明涉及图像目标跟踪技术领域，尤其涉及一种摄像机平滑联动跟踪船舶方法。

背景技术

近年来，海事大力开展信息化建设，CCTV建设成本低、使用方便，对提高航行安全、船舶动态监管、减少水上环境污染、预防交通事故发生，有至关重要作用。船舶视频联动跟踪是值班过程中常用的功能，能够帮助值班人员快速定位到要观测的船舶，为值班人员提供直观、丰富的船舶情报信息。

目前，传统的船舶联动跟踪的做法是通过船舶的AIS传感器、雷达传感器感知的船舶经纬度进行联动跟踪，跟踪效果好坏取决于AIS、雷达感知船舶位置更新频率、精度、摄像机地理位置测量精度、AIS和雷达融合状态等条件，跟踪只能被动接收船舶信息数据后调整云台方位信息，不能通过视频主动检测到船舶，并且跟踪的过程中存在视频不平滑、有明显的顿挫感、摄像机角度调整不及时等情况。因此，亟待研究从视频中主动发现船舶并改善船舶跟踪过程中平滑效果和提升时效性的跟踪方法。

发明内容

发明目的：本发明针对现有船舶目标视频跟踪效果依靠AIS、雷达传感器感知的船舶位置进行视频联动跟踪过程中出现的云台转动不平滑、云台转动不及时等问题，提供了基于孪生神经网络的船舶平滑联动跟踪方法。本发明具体包括船舶模型数据训练、生成特有的船舶数据集，采集摄像机参数；在视频图像中手动框定要跟踪的船舶目标，实时检测、跟踪视频中的船舶目标并获取船舶在图像中的像素位置，获取摄像机水平、俯仰视场角，计算得到云台、镜头转动速度；控制摄像机云台、镜头持续稳定跟踪船舶。本发明利用孪生神经网络能够持续稳定检测、跟踪视频中的船舶，通过每一帧图像检测、跟踪的结果控制摄像机云台、镜头的转动，能够有效提升跟踪过程的平滑效果、时效性。

本发明支持可见光、红外、热成像等视频源。本发明需要获取摄像机视场角参数、云台转速等参数，并且云台转速精度在0.01°，否则会影响平滑跟踪效果。

技术方案：

本发明提供一种摄像机平滑联动跟踪船舶方法，包括以下步骤：

步骤1，采集摄像机不同焦距、方位、天气、光照状态下的船舶视频，从视频中自动截取图片，标注图片中的船舶，通过孪生神经网络训练生成船舶特征的数据结果集；

步骤2，采集摄像机镜头、云台固定参数；

步骤3，获取摄像机视频，在图像中手动框选跟踪船舶，利用孪生神经网络对跟踪船舶和接下来的视频帧中的船舶进行匹配，获取跟踪船舶像素坐标位置；

步骤4，根据每一帧图像检测跟踪后的跟踪船舶像素坐标位置、摄像机云台方位和镜头参数，计算云台转动的方位方向、云台转速时长，控制云台持续平滑转动跟踪船舶；

步骤5，根据跟踪船舶像素坐标位置在图像中比例控制镜头放大、缩小，使船舶在图像中处于1/3到1/2的显示比例。

所述步骤1包括：

步骤1-1，获取摄像机视频，并保存为视频文件，所述摄像机视频包含可见光、热成像视频，从视频文件中读取关键帧(I帧)，并将视频I帧保存为图片，图片大小缩放为512*512大小；