[发明专利]基于卫星红外与可见光图像的海上目标信息融合方法

权利要求书

1.一种基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述方法包括：

卫星红外相机和可见光相机开机，对重点海域成像并向地面站下传图像；

利用深度学习算法对可见光图像进行舰船目标检测，利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测；

根据可见光图像和红外图像的舰船目标检测点集，利用点模式匹配算法进行点集匹配，对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准；

利用配准图像检测区域的交并比进行目标关联，综合目标切片，利用深度学习算法对舰船目标进行类型识别，

其中：

所述利用深度学习算法对可见光图像进行舰船目标检测，包括：选定训练集；对训练集进行人工标注后训练Mask RCNN检测框架；将可见光图像输入Mask RCNN检测框架，输出可见光目标位置；

点集匹配时采用刚性变换配准关系，配准算法采用迭代加权最小二乘ICP算法；

所述综合目标切片，利用深度学习算法对舰船目标进行类型识别，包括：利用训练集训练CNN网络模型；将可见光目标切片输入CNN网络模型，输出舰船目标类型，舰船目标类型包括：集装箱船、航母和驱逐舰。

2.根据权利要求1所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测，包括：

采用滑窗形式检测目标，滑窗形态包括目标区、保护区和杂波区，

峰值信噪比PSNR定义为：PSNR＝(μ_T-μ_B)/σ_B，μ_T,μ_B分别为目标区和杂波区的均值，σ_B为杂波区的标准差；

若峰值信噪比大于设置的阈值，则检测为目标；

红外图像经检测分割后转化为二值图像，通过形态学处理对检测到的亮点区域进行8连通域标记，提取目标像素区域，计算每个目标像素区域内目标的质心作为红外目标位置。

3.根据权利要求1所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准，包括：

每次随机选取3对匹配点，根据选取的匹配点计算当前仿射变换参数，再求得其它点对在当前仿射变换参数下的误差，误差小于某一阈值的点对作为内点，保存内点集合；

重复多次随机采样，得到最大内点集合；

对最大内点集合采用最小二乘算法求解出仿射变换参数；

根据仿射变换参数将红外图像仿射变换与重采样，与可见光图像对齐，用于后续目标关联。

4.根据权利要求3所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述利用配准图像检测区域的交并比进行目标关联，包括：

通过下述公式计算交并比：

其中，R_IR和R_VIS分别为任意的红外图像与可见光图像的检测区域；

若舰船目标切片的IOU大于设置的阈值时，判定为可关联，否则判定为无法关联。

5.根据权利要求4所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，关联结果包括：

红外目标与可见光目标关联上，判定舰船目标真实存在；

无可见光目标关联的红外目标，若对应可见光区域内无图像，判定为疑似目标，若对应可见光区域有图像无目标切片，判定为漏检目标；

无红外目标关联的可见光目标，若对应红外区域内无图像，判断为疑似目标，并根据目标大小给出置信概率，若对应红外区域内有图像无目标，判断为虚假目标。

6.根据权利要求1所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述综合目标切片，利用深度学习算法对舰船目标进行类型识别，进一步包括：

输出的舰船目标类型经人工确认后，用输入的可见光目标切片图像构建目标多源图像库；

随着红外与可见光同一目标图像切片的积累，将红外与可见光同一目标图像切片用作多源融合识别的训练样本，挖掘红外图像辅助可见光图像的目标识别能力。