[发明专利]图像融合装置、方法、设备及存储介质

说明书

本申请公开了一种图像融合装置、方法、设备及存储介质，属于图像处理技术领域。图像融合装置包括图像采集单元和第一图像处理单元，图像采集单元包括图像传感器，该图像传感器用于在不同曝光条件下输出第一图像信号和第二图像信号，且第一图像信号经过近红外补光，第二图像信号未经过近红外补光，第一图像处理单元包括第一神经网络单元，该第一神经网络单元用于对第一图像信号和第二图像信号进行图像匹配处理，得到匹配图像，图像处理单元还用于基于匹配图像进行图像融合，输出融合图像。如此，先对第一图像信号和第二图像信号进行图像匹配，再基于匹配图像进行图像融合，可以避免在融合图像中出现重影的问题，提高了图像质量。

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像融合装置、方法、设备及存储介质。

背景技术

随着图像在各个领域的应用越来越广泛，用户对图像的质量要求也越来越高。但在低光照环境下，图像的成像质量通常较差，为此，目前提供了一种图像融合装置，该图像融合装置可以在不同拍摄时刻进行间歇式补光，从而通过时分复用来生成不同类型的图像信号，譬如，在近红外补光的情况下生成第一图像信号，在没有近红外补光的情况下生成第二图像信号。然后，可以将第一图像信号和第二图像信号均进行色彩和亮度分离，将第一图像信号的亮度图像与第二图像信号的色彩图像进行叠加，进而得到彩色图像。

但由于第一图像信号和第二图像信号是在不同时刻采集到的，当图像中存在运动物体时，该运动物体在第一图像信号和第二图像信号中的位置不同，如此将第一图像信号和第二图像信号进行叠加后，可能导致彩色图像中出现重影问题，降低了图像质量。

发明内容

本申请提供了一种图像融合装置、方法、设备及存储介质，可以解决相关技术将第一图像信号和第二图像信号进行叠加后，导致彩色图像中出现重影，降低图像质量的问题。所述技术方案如下：

一方面，提供了一种图像融合装置，所述图像融合装置包括：图像采集单元和第一图像处理单元；

所述图像采集单元包括图像传感器，所述图像传感器用于输出第一图像信号和第二图像信号，所述第一图像信号与所述第二图像信号在不同曝光条件下输出，且所述第一图像信号经过近红外补光，所述第二图像信号未经过近红外补光；

所述第一图像处理单元包括第一神经网络单元，所述第一神经网络单元用于对所述第一图像信号和所述第二图像信号进行图像匹配处理，得到匹配图像；

所述第一图像处理单元，还用于基于所述匹配图像进行图像融合，输出融合图像。

另一方面，提供了一种图像融合装置，所述图像融合装置包括：图像采集单元和第二图像处理单元；

所述图像采集单元包括图像传感器，所述图像传感器用于输出第一图像信号和第二图像信号，所述第一图像信号与所述第二图像信号在不同曝光条件下输出，且所述第一图像信号经过近红外补光，所述第二图像信号未经过近红外补光；

所述第二图像处理单元包括第二神经网络单元，所述第二神经网络单元用于对所述第一图像信号和所述第二图像信号进行图像匹配和图像融合处理，输出融合图像。

另一方面，提供了一种图像融合方法，应用于图像融合装置，所述图像融合装置包括图像采集单元和第一图像处理单元，所述图像采集单元包括图像传感器，所述第一图像处理单元包括第一神经网络单元，其特征在于，所述方法包括：

通过所述图像传感器，在不同曝光条件下输出第一图像信号和第二图像信号，且所述第一图像信号经过近红外补光，所述第二图像信号未经过近红外补光；

通过所述第一神经网络单元对所述第一图像信号和所述第二图像信号进行图像匹配处理，得到匹配图像；

通过所述第一图像处理单元，基于所述匹配图像进行图像融合，输出融合图像。