[发明专利]一种基于深度学习的海面船只视频检测与跟踪方法

摘要

本发明公布了一种基于深度学习的海面船只视频检测与跟踪方法，(1)卷积模型特征提取：采用深度卷积神经网络自动学取目标船只特征，每个特征层都使用一系列的3x3卷积核去提取特征，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征；(2)多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标特征，特征层之间进行融合对比；(3)全连接前后帧目标跟踪：当前帧和前一帧图像分别通过卷积层提取特征后选取出目标附近区域的特征，将这些特征级联并输入全连接层。本发明有效地确保了船只检测与跟踪的实时性和稳定性。 1

主权项

1.一种基于深度学习的海面船只视频检测与跟踪方法，其特征在于，按以下步骤进行：

(1)快速的卷积模型特征提取：通过主干卷积网络提取目标的特征；采用深度卷积神经网络自动学取目标船只特征，每一个特征层，都使用一系列的3x3卷积核去提取特征，其中，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征，而卷积层之间以下采样层连接；

(2)多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标的特征，在这些特征层之间进行融合对比，以确定目标的大小和位置；

(3)全连接前后帧目标跟踪：在当前帧和前一帧图像分别通过卷积层提取特征后，选取出目标附近区域的特征，将这些特征级联并输入全连接层。

2.根据权利要求1所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，将视频帧进行归一化转化为固定的尺寸作为特征提取模型的输入，快速的卷积特征提取模型采用18层的卷积神经网络结构，由多个连续的卷积层间隔池化层组成。

3.根据权利要求2所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，所述多个连续的卷积层间隔池化层组成结构为：卷积层*2‑池化层‑卷积层*2‑池化层‑卷积层*3‑池化层‑卷积层*3‑池化层‑卷积层*3‑池化层。

4.根据权利要求3所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，卷积层采用3*3的卷积核，以步长1卷积上一层输入数据，然后加上一个偏置b，通过修正线性单元ReLU激活函数将线性变换转换为非线性变换，Xⁿ＝g(W^TX^n‑1+bⁿ)，g(x)＝ReLU(x)＝max(0,x)，其中，n代表第几层网络，X为图像特征，W为卷积核权重，g(x)为激活函数。

5.根据权利要求4所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，所述池化层采用2*2卷积，以步长2卷积上一层输入数据，采样方式为最大值采样，每个池化层将输入特征图映射到一个缩小4倍的特征图。

6.根据权利要求1—5任一项所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，将多尺度全卷积模型获取的特征金字塔的每一层作为输出层，设定密度相同的候选框，金字塔顶的候选框对应于原图像中较大的目标框，金字塔底的候选框对应于原图像中较小的目标框。

7.根据权利要求6所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，对所述候选框进行Multi‑taskloss计算，每个ROI输出离散概率分布为：p＝(p₀,...,p_k)和boundingbox回归的位移为其中，k表示类别的索引，参数x、y是指相对于候选目标框尺度不变的平移量，参数w、h是指对数空间中相对于候选目标框的高与宽；损失函数表示为：其中，k^*是真实类别，L_conf是分类损失，L_loc是定位损失，N是与groundtruthbox相匹配的候选框的个数，α为权重；采用softmax函数计算分类损失，把一个k维的realvalue向量映射成一个范围0‑1的常数向量，根据其大小来进行分类；

8.根据权利要求1或7所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，在已知上一帧物体位置时，当前帧在物体原来所在的位置附近的区域进行搜索，在第t‑1帧中，假设目标所在位置为(cx，cy)，其大小为(w，h)，则提取一块大小为(2w，2h)的图像块输入到CNN中；在第t帧中，同样也以(cx，cy)为中心，提取大小为(2w，2h)的图像块，输入到CNN中；全连接层学习到的是一个复杂的特征比较函数，输出目标的相对运动，随后全连接层的输出被连接到一个4节点的层，分别代表bounding‑box左上角坐标和目标长宽，从而输出目标的位置。