[发明专利]图像融合装置、方法、设备及存储介质

权利要求书

1.一种图像融合装置，其特征在于，所述图像融合装置包括：图像采集单元（1）、第一图像处理单元（2）和存储器（4），所述图像采集单元（1）包括图像传感器（01）、滤光组件（03）和镜头（04）；所述滤光组件（03）位于所述镜头（04）和所述图像传感器（01）之间，且所述图像传感器（01）位于所述滤光组件（03）的出光侧；或者，所述镜头（04）位于所述滤光组件（03）与所述图像传感器（01）之间，且所述图像传感器位于所述镜头（04）的出光侧；

所述滤光组件包括第一滤光片（031）、第二滤光片（032）和切换部件（033），所述第一滤光片（031）和所述第二滤光片（032）均与所述切换部件（033）连接，所述切换部件（033）用于使所述滤光组件（03）在第一状态和第二状态之间切换；所述第一滤光片（031）与所述滤光组件（03）的第一状态对应，使可见光和部分近红外光通过，所述第二滤光片（032）与所述滤光组件（03）的第二状态对应，仅使可见光通过；

所述第一图像处理单元（2）包括第一神经网络单元（21）和预处理单元（25），所述预处理单元（25）的输出端与所述第一神经网络单元（21）的输入端连接；

所述图像传感器（01）用于在第一预设曝光下输出第一图像信号，在第二预设曝光下输出第二图像信号，所述第一图像信号是在所述第一预设曝光的部分曝光时间段或曝光时间段内进行红外补光得到的，所述第二图像信号是在所述第二预设曝光的曝光时间段内不进行红外补光得到的；

所述预处理单元（25）用于分别对所述第一图像信号和所述第二图像信号进行预处理，输出第一预处理图像和第二预处理图像；所述存储器（4）的输出端与所述预处理单元（25）的输入端连接，将所述第一图像信号和所述第二图像信号同步后输出给所述预处理单元（25）；或者，所述存储器（4）位于所述预处理单元（25）中，或者，所述存储器（4）的输入端与所述预处理单元（25）的输出端连接，用于将所述第一预处理图像和所述第二预处理图像同步后输出给所述第一神经网络单元（21）；

所述第一神经网络单元（21）用于对所述第一预处理图像和所述第二预处理图像进行图像匹配处理，得到匹配图像；

所述第一图像处理单元（2），还用于基于所述匹配图像进行图像融合，输出融合图像；

所述第一神经网络单元（21）包括对齐网络模型（211）或图像插帧网络模型（212）；

所述对齐网络模型（211），用于将所述第一预处理图像和所述第二预处理图像进行图像对齐处理，得到所述匹配图像；

所述图像插帧网络模型（212），用于将所述第二预处理图像和前一帧的第二预处理图像进行插帧处理，得到所述匹配图像，所述第二预处理图像的产生时间晚于所述第一预处理图像的产生时间；

或者，所述图像插帧网络模型（212），用于将所述第一预处理图像和前一帧的第一预处理图像进行插帧处理，得到所述匹配图像，所述第一预处理图像的产生时间晚于所述第二预处理图像的产生时间。

2.如权利要求1所述的图像融合装置，其特征在于，在所述第一神经网络单元（21）包括对齐网络模型（211）的情况下，所述第一图像处理单元（2）还包括第一融合网络模型（22）；

所述第一融合网络模型（22），用于基于所述第一预处理图像或所述第二预处理图像，以及所述匹配图像进行图像融合，得到所述融合图像。

3.如权利要求2所述的图像融合装置，其特征在于，所述对齐网络模型（211），用于确定所述第一预处理图像和所述第二预处理图像中相对运动区域的运动矢量信息；基于所述运动矢量信息对所述第一预处理图像进行运动补偿处理，或者，基于所述运动矢量信息对所述第二预处理图像进行运动补偿处理，得到所述匹配图像。

4.如权利要求2所述的图像融合装置，其特征在于，

所述第一融合网络模型（22），用于将所述匹配图像与所述第一预处理图像进行图像融合，得到所述融合图像；或者，

所述第一融合网络模型（22），用于将所述匹配图像与所述第二预处理图像进行图像融合，得到所述融合图像。