[发明专利]一种黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法

权利要求书

1.一种黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法，其特征在于，包括：

步骤S1，数据集建立：无人艇搭载多种红外热像仪，使红外热像仪在水域场景下低空拍摄，模拟无人艇航行视角，对水面进行拍摄视频，对视频进行处理得到原始图像，使用标注工具对原始图像数据进行标注，得到红外岸线分割数据集和红外目标检测数据集，将该两个数据集均按照预定比列划分为训练集、测试集以及验证集；

步骤S2，模型建立：采用DeeplabV3 Plus模型作为岸线分割的网络模型，并采用YOLOV5m模型作为目标检测的网络模型；设置DeeplabV3 Plus模型和YOLOV5m模型的超参数，并采用基于voc2012数据集的YOLOV5m模型权重作为预训练权重进行迁移学习，随后利用红外岸线分割数据集的训练集对DeeplabV3 Plus模型进行反复训练与验证，以及利用红外目标检测数据集的训练集对YOLOV5m模型进行反复训练与验证，得到基于红外岸线分割数据集与红外目标检测数据集的训练权重；接着利用红外岸线分割数据集的测试集、验证集对该训练权重下的DeeplabV3 Plus模型进行评估与预测，以及利用红外目标检测数据集的测试集、验证集对该训练权重下的YOLOV5m模型进行评估与预测，根据评估和测试结果不断调整DeeplabV3 Plus模型和YOLOV5m模型的超参数，建立决策级对优化超参数后的DeeplabV3 Plus模型和YOLOV5m模型进行级联的Pytorch框架网络模型；将Pytorch框架网络模型的权重文件转换为TensorRT框架网络模型的权重文件，迁移至无人艇上的边缘计算平台中；

步骤S3，模型应用：将由无人艇搭载的红外热像仪实时拍摄的水域场景视频经过步骤S1所涉方法处理后得到的红外岸线分割数据和红外目标检测数据传送至边缘计算平台，由TensorRT框架网络模型进行处理，得到水上目标以及可行域的识别结果。

2.根据权利要求1所述的黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法，其特征在于：步骤S1，数据集建立：在无人艇上搭载大疆M300无人机的红外热像仪，该红外热像仪在水域场景下低空拍摄，模拟无人艇航行视角，对水面进行拍摄视频，然后对视频进行抽帧、去重、筛选处理得到原始图像，再使用标注工具“Labelimg”对水上目标进行矩形框标注，并使用标注工具“Labelme”对可行域进行多边形框标注，得到红外岸线分割数据集和红外目标检测数据集，所述红外岸线分割数据集包括背景background、水water、障碍物obstacle三个类别；所述红外目标检测数据集包括船只boat、岸上人员person_shore、船上人员person_boat、水中人员swimming、海豚一号dolphin1五个类别；将红外岸线分割数据集和红外目标检测数据集均按照8：1：1的比例划分为训练集、验证集以及测试集三个子数据集，在每个子数据集中每个类别的样本数量一致。

3.根据权利要求2所述的黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法，其特征在于：所述DeeplabV3 Plus模型作为岸线分割的网络模型时：

采用resnet作为主干特征提取网络，其encoder主体部分把标准卷积分解成深度卷积和逐点卷积，深度卷积对每个通道独立使用空间卷积，逐点卷积用于结合深度卷积的输出；在encoder中，对压缩四次的初步有效特征层，利用并行的空洞卷积，分别用不同rate进行特征提取，再进行concat合并，然后进行1×1卷积压缩特征得到特征图；在decoder中，对压缩两次的初步有效特征层利用1×1卷积调整通道数，再和encoder输出的空洞卷积后的有效特征上采样的结果进行堆叠，在完成堆叠后，进行两次深度可分离卷积，获得最终有效特征层，再利用一个1×1卷积进行通道调整，调整到Num_Classes，最后利用resize进行上采样，使得最终输出层的宽高和输入图片一样。