[发明专利]基于多尺度信息融合的海面小目标检测方法

权利要求书

1.一种基于多尺度信息融合的海面小目标检测方法，其特征在于，步骤如下：

步骤S1，构建海面小目标仿真数据集：利用嵌入轨迹规划方法和无缝融合方法，使用所述数据集将船只渲染到场景中，从而根据嵌入位置标注得到准确的边界框和类别信息；

所述步骤S1具体为：

步骤S1-1，收集M幅真实的不同种类的船只图像和N个不同天气状况下的海面视频；

步骤S1-2，海平面嵌入轨迹规划：针对每个海面视频，每间隔1s抽取其中一个视频帧，针对每个视频帧的海平面等间隔采集多个采样点，并根据视频海平面的起伏程度选择T次多项式，利用T次多项式曲线拟合的方式拟合完整海平面，该多项式含有T+1个参数；在得到整个海面视频的所有T次多项式拟合曲线后，针对多项式的每一项系数以时间为横坐标，系数为纵坐标同样使用多项式进行曲线拟合；总共得到T+1个参数拟合曲线；通过上述步骤得到系数随时间变化的T次多项式海面拟合曲线；

步骤S1-3，针对每个海面场景视频，给定嵌入船只的初始位置和移动速度；对每个视频帧，根据时间标签计算船只在每个海平面视频帧图像中的横坐标，并利用当前视频帧对应的时间求得T次多项式的当前系数，得到当前视频帧的海平面拟合曲线，进而根据横坐标计算出纵坐标，从而得到每帧视频图像的船只嵌入位置；

步骤S1-4，船只与海面的无缝融合：针对嵌入的图片，利用高斯滤波对前景船只图片进行模糊处理，之后将船只缩小，将得到的模糊小尺寸图片嵌入到步骤S1-3生成的位置，并在嵌入后再次使用高斯滤波对边缘进行平滑；

步骤S1-5，针对每个视频帧，以步骤S1-3中得到的每个视频帧的嵌入位置为中心，将步骤S1-4中得到的结果图片逐帧嵌入到海面场景图像；利用前景目标图像插入的位置和缩放后的大小构建目标检测的标注框；

步骤S1-6，针对每个海面视频，重复步骤S1-2到步骤S1-5，从而构建完整的海面小目标数据集；

步骤S2，构建深度学习网络模型，所述模型包括主干网络、FPN网络、自上而下的transformer网络；所述主干网络用于特征提取，抽取所述主干网络的特征层并构建FPN网络用于多尺度特征融合，并且嵌入transformer模块，利用自上而下的解码方式使网络进一步加强关注小目标区域；其中使用可变形卷积实现transformer模块的注意力机制；

步骤S3，利用步骤S1构建的小目标仿真数据集对步骤S2构建的深度学习模型进行训练；在训练过程中，通过transformer模块解码和检测出海面小目标的位置和类别信息；

步骤S4，利用步骤S3训练好的模型进行其他场景下的海面小目标检测。

2.根据权利要求1所述的基于多尺度信息融合的海面小目标检测方法，其特征在于，所述构建深度学习网络为一个多尺度信息融合的端到端网络；所述步骤S2具体为：

步骤S2-1，通过所述主干网络对图片进行特征提取；

步骤S2-2，将得到的多个不同尺度feature map输入FPN网络进行多尺度信息融合；

步骤S2-3，将经过融合的多层feature map输入级联transformer模块进行反向解码，得到高精度的类别预测和边界框预测结果；所述transformer模块利用可变形卷积形成注意力机制，其中，transformer模块的decoder利用不同尺度特征图实现跨层注意力，同时利用自上而下的方式进行解码。

3.根据权利要求1所述的基于多尺度信息融合的海面小目标检测方法，其特征在于，所述步骤S2中主干网络使用ResNet-50为基准网络。

4.根据权利要求2所述的基于多尺度信息融合的海面小目标检测方法，其特征在于，在步骤S2-3中，将得到的不同尺度特征输入分类分支，使用交叉熵损失作为分类损失：

其中，L_cls(x,c)表示分类学习损失，i表示预测框序号，Pos表示预测为正样本，n表示预测框的总个数，p表示类别，j表示真实框序号，表示第i个预测框与第j个真实框匹配，取值为{0,1}，表示第i个预测框关于类别p的概率，Neg表示预测为负样本，表示第i个预测框关于背景类的置信度，表示预测类别为p的置信度。