[发明专利]一种双光谱图像配准融合方法、装置、设备及存储介质

权利要求书

1.一种双光谱图像配准融合方法，其特征在于，包括：

输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；

依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；

当计算出的所述匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；

根据得到的所述视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；

对获取的所述视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。

2.根据权利要求1所述的双光谱图像配准融合方法，其特征在于，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割，具体包括：

分别对输入的红外图像和可见光图像进行双边滤波、均值滤波、LOG滤波或统计变换处理；

采用K-mean法、分水岭算法、最大间类方差法或区域生长法对处理后的红外图像进行图像分割；分割后的红外图像的不同分割区域对应不同的数字标记。

3.根据权利要求2所述的双光谱图像配准融合方法，其特征在于，对每个像素进行匹配代价计算，具体包括：

选取红外图像像素的邻域和与红外图像像素对应的可见光图像匹配像素的邻域；

根据不同视差下选取的红外图像像素的邻域和可见光图像匹配像素的邻域，计算互信息，作为红外图像像素的匹配代价。

4.根据权利要求3所述的双光谱图像配准融合方法，其特征在于，选取的红外图像像素(x,y)的邻域为(x_L-Ω:x_R+Ω,y-δ:y+δ)，可见光图像匹配像素的邻域为(x_L-Ω-d:x_R+Ω-d,y-δ:y+δ)；

其中，x_L是像素(x,y)所在分割平面的同行左边界像素的横坐标，x_R是像素(x,y)所在分割平面的同行右边界像素的横坐标；Ω是左右边界的扩展；δ是大于0经验值；d是红外图像像素(x,y)对应可见光图像匹配像素的视差值。

5.根据权利要求4所述的双光谱图像配准融合方法，其特征在于，对每个像素进行匹配代价可信度计算，具体包括：

对每个像素计算最大匹配代价和次级大匹配代价；

根据计算出的所述最大匹配代价、所述次级大匹配代价和设定的可信度上限值，计算匹配代价可信度。

6.根据权利要求5所述的双光谱图像配准融合方法，其特征在于，还包括：

当计算出的所述匹配代价可信度小于设定阈值时，对红外图像进行次级分割，并重新进行匹配代价计算和匹配代价可信度计算，直至所述匹配代价可信度大于或等于设定阈值。

7.根据权利要求6所述的双光谱图像配准融合方法，其特征在于，拟合视差平面，具体包括：

分别对不同分割区域的像素进行视差平面拟合，判断视差离散度是否大于预设值；

若是，则对红外图像进行次级分割，并重新拟合视差平面，直至所述视差离散度小于或等于预设值；若否，则将所述视差离散度对应的视差值作为平面拟合视差值。