[发明专利]红外和可见光图像融合方法及其在机载光电视频中的应用

说明书

本发明公开了红外和可见光图像融合方法及其在机载光电视频中的应用。其中所述融合方法包括：将经过目标提取预处理得到预处理后红外图像，与经过视觉增强预处理得到的预处理后可见光图像通过融合模型进行融合，其中所述融合模型基于含有多层各向异性扩散滤波器的多尺度分析模型构建。本发明所得融合图像在高分辨、高清晰度的同时具有夜间成像效果好、环境影响小、集成信息量大、融合效率高等特点，特别适用于在机载嵌入式平台实时融合多源光电图像。

技术领域

本发明涉及多源图像融合技术领域。

背景技术

不同类型的成像传感器的成像机理和应用场景各异，其中，由于技术手段等的限制，单一成像传感器得到的单源图像仅可以满足一些特定的应用需求，无法适应环境更复杂、用途更广泛的场景。为了得到目标和背景清晰、语义信息充足、应用范围广泛和更符合人类视觉以及机器识别的图像，同时避免因使用多个单一成像传感器而产生的信息冗余和损耗，相关应用中更多采用了多源图像融合技术。

多源图像融合技术旨在利用多源图像的冗余性和互补性，综合不同成像传感器的图像数据特点，取长补短，提供具有更高可信度，较少的不确定性以及更好的可理解性的目标和图像信息，从而反应出对事物更客观、更丰富、更本质的认识，达到改善图像视觉效果、强化图像有用信息、增加图像可理解性、使系统更具鲁棒性的目的。根据应用方向的不同，多源图像融合可分为医学图像融合、多聚焦图像融合、遥感图像融合、多曝光图像融合、可见光和红外图像融合等。其中，可见光和红外图像融合是机载视景增强和机载辅助驾驶等系统中的关键技术。这些系统利用红外和可见光传感器拍摄飞机前方区域场景，并通过多源图像融合技术生成视景图像供飞行员观察和辅助导航。

在可见光与红外图像融合技术中，可见光图像可提供纹理细节信息和与人类视觉系统一致的高空间分辨率和清晰度，红外图像则由于其波长和热成像等特性，可提供在雾天或光照不足等条件下的良好成像优势，同时，可见光图像可弥补红外无法对机场指示灯和航空障碍灯等冷光源成像的缺陷，通过两者的融合有效改善复杂气候条件下的成像效果，减少视觉盲点，提升态势感知能力，大幅提高飞行和着陆安全性。

现有的红外和可见光图像融合技术多使用基于多尺度分析的方法和基于神经网络的方法。其中，多尺度分析又被称为多分辨率分析，其基本思想是将图像经过多尺度变换之后得到不同尺度空间下的子图像，然后在各个尺度空间下根据特定的规则融合多源图像的子图像，最后用多尺度逆变换恢复到原来的空间。多尺度分析可在尺度空间中挖掘图像的底层特征语义，如图像的纹理细节、边缘轮廓等，但是，一方面，该方法通常只能提取图像的全局特征而非局部特征，且在复杂场景下提取图像全局特征时，易出现将目标和其他噪声混淆的情况；另一方面，该方法在尺度空间中的融合规则存在泛用性低的问题，如不适用多个昼夜及温度环境的情况，导致获得的目标显著度不高、图像纹理背景不均匀、光照不均匀、前景不够突出等问题，融合效果较差。

在神经网络方面，包括CNN、GAN等在内的一些深度学习模型被应用到了可见光与红外图像融合上，但深度学习需要大量的数据进行训练，在数据量较少的情况下难以使用，另外，图像融合中常缺少先验信息，导致融合策略对融合结果的影响过大。

发明内容

本发明的目的在于提出一种红外和可见光图像融合方法，其所得融合图像在保持较好的与人眼视觉图像一致的高分辨、高清晰度的特性同时又综合红外热成像夜视范围广、受环境影响小的特定信息，集成信息量大、效率高，便于目标检测识别等后续处理，并特别适用于在机载嵌入式平台实时融合多源光电图像。

本发明首先提供了如下的技术方案：

红外和可见光图像融合方法，其包括：

S1对待融合的红外图像进行目标提取预处理，得到含有目标区域红外特征分量的预处理后红外图像；

S2对待融合的可见光图像进行视觉增强预处理，得到视觉增强后的可见光图像；

S3将预处理后红外图像与预处理后的可见光图像输入融合模型进行融合；