[发明专利]一种基于深度学习的海面船只视频检测与跟踪方法

说明书

本发明公布了一种基于深度学习的海面船只视频检测与跟踪方法，(1)卷积模型特征提取：采用深度卷积神经网络自动学取目标船只特征，每个特征层都使用一系列的3x3卷积核去提取特征，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征；(2)多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标特征，特征层之间进行融合对比；(3)全连接前后帧目标跟踪：当前帧和前一帧图像分别通过卷积层提取特征后选取出目标附近区域的特征，将这些特征级联并输入全连接层。本发明有效地确保了船只检测与跟踪的实时性和稳定性。

技术领域

本发明属于海面船只视频检测与跟踪技术领域，尤其涉及一种海面船只视频检测与跟踪的方法。

背景技术

基于图像传感器获得的海面可见光或红外图像的目标检测在海防安全有广泛应用。检测区域限定在近岸或者从海上某点出发的可视距离内，海面运动载体和海上浮标均可作为很好的系统部署地点。

传统的视频图像海面目标检测方法主要有基于boosting框架的弱分类器级联方法和基于支持向量机的目标匹配方法。但这些方法的特征表达能力有限，无法应对海面船只外形的变化多样、船只在视频中出现的角度大小的变化、不同天气条件下的光照变化、红外图像相对可见光较差的成像效果等。因此对目标的漏检和误检情况严重。

另一方面，监控视频通常要求高实时性和高清晰度，然而，这两方面是此消彼长的关系。高清视频图像的分辨率为1920*1080，这样的输入图像，传统的基于滑动窗口的目标检测方法将会产生百万级的候选检测窗口，耗时严重，无法做到实时。

发明内容

本发明的目的在于解决上述技术问题，提供一种基于深度学习的海面船只视频检测与跟踪方法，采用基于深度学习卷积神经网络的方法对视频图像中的船只进行检测与跟踪并利用GPU进行高并行计算，以确保实时性和稳定性。

本发明的技术方案如下：

一种基于深度学习的海面船只视频检测与跟踪方法，按以下步骤进行：

(1)快速的卷积模型特征提取：通过主干卷积网络提取目标的特征；采用深度卷积神经网络自动学取目标船只特征，每一个特征层，都使用一系列的3x3卷积核去提取特征，其中，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征，而卷积层之间以下采样层连接；

(2)多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标的特征，在这些特征层之间进行融合对比，以确定目标的大小和位置；

(3)全连接前后帧目标跟踪：在当前帧和前一帧图像分别通过卷积层提取特征后，选取出目标附近区域的特征，将这些特征级联并输入全连接层。

进一步地，将视频帧进行归一化转化为固定的尺寸作为特征提取模型的输入，快速的卷积特征提取模型采用18层的卷积神经网络结构，由多个连续的卷积层间隔池化层组成。

进一步地，所述多个连续的卷积层间隔池化层组成结构为：卷积层*2-池化层-卷积层*2-池化层-卷积层*3-池化层-卷积层*3-池化层-卷积层*3-池化层。

进一步地，卷积层采用3*3的卷积核，以步长1卷积上一层输入数据，然后加上一个偏置b，通过修正线性单元ReLU激活函数将线性变换转换为非线性变换，，，其中，n代表第几层网络，X为图像特征，W为卷积核权重，g(x)为激活函数。

进一步地，所述池化层采用2*2卷积，以步长2卷积上一层输入数据，采样方式为最大值采样，每个池化层将输入特征图映射到一个缩小4倍的特征图。