[发明专利]一种摄像机平滑联动跟踪船舶方法

权利要求书

1.一种摄像机平滑联动跟踪船舶方法，其特征在于，包括以下步骤：

步骤1，采集摄像机不同焦距、方位、天气、光照状态下的船舶视频，从视频中自动截取图片，标注图片中的船舶，通过孪生神经网络训练生成船舶特征的数据结果集；

步骤2，采集摄像机镜头、云台固定参数；

步骤3，获取摄像机视频，在图像中手动框选跟踪船舶，利用孪生神经网络对跟踪船舶和接下来的视频帧中的船舶进行匹配，获取跟踪船舶像素坐标位置；

步骤4，根据每一帧图像检测跟踪后的跟踪船舶像素坐标位置、摄像机云台方位和镜头参数，计算云台转动的方位方向、云台转速时长，控制云台持续平滑转动跟踪船舶；

步骤5，根据跟踪船舶像素坐标位置在图像中比例控制镜头放大、缩小，使船舶在图像中处于1/3到1/2的显示比例。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，获取摄像机视频，并保存为视频文件，所述摄像机视频包含可见光、热成像视频，从视频文件中读取关键帧I帧，并将关键帧I帧保存为图片，图片大小缩放为512*512大小；

步骤1-2，对图片数据进行清洗、分类、归一化处理，剔除图片中不显示船舶、船舶密度高遮挡严重的图片，并且将船舶图片按照图片光照强度、船舶类型进行分类，标注图片中的船舶，对于岸边的船舶、遮挡严重船舶不标注、会遇船舶只标注未被遮挡的船舶；

步骤1-3，建立Alexnet为主干的孪生神经网络，对标注的图片进行训练，生成船舶特征的数据结果集，所述孪生神经网络包含5个卷积层和3个全连接层，其中5个卷积层中的第1、3、5个卷积层包含池化层，3个全连接层中的第1、2个全连接层引入丢弃层，避免模型过拟合，第3个全连接层为输出层。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：采集摄像机焦距范围、云台转动精度、云台转速范围、镜头电荷耦合元件CCD靶面长宽信息。

4.根据权利要求3所述的方法，其特征在于，步骤3包括：

步骤3-1，通过实时流传输协议RTSP获取摄像机视频，使用ffmpeg将视频解码成一帧图像显示在界面上；

步骤3-2，加载步骤1-3中的船舶特征模型数据，在图像中框选跟踪船舶，将框选后的图像和接下来的每一帧送入到孪生神经网络提取特征，在目标特征空间通过损失函数进行相似度匹配，如果匹配成功，将框选的图像特征和搜索图像帧的特征数据送入到候选区域网络预测出目标的识别矩形框，得到跟踪船舶的像素坐标比例，根据图像长宽得到跟踪船舶的像素矩形位置，如果匹配不成功则执行步骤4-3。