[发明专利]去除多张图像融合产生运动伪影方法及装置

说明书

本申请涉及计算机视觉技术领域，特别涉及一种去除多张图像融合产生运动伪影方法、装置、设备及介质，其中，方法包括：从目标场景的多张初始图像中筛选低于预设分辨率的多张目标图像；将多张目标图像输入预先训练的图像融合模型，得到目标场景的去除融合中的运动伪影的无伪影图像，预先训练的图像融合模型由多张低于第一预设分辨阈值的图像和对应的无伪影高于第二预设分辨率阈值的图像训练得到，从而通过神经网络模型得到低分辨率图像融合后的无伪影的高分辨率图像，消除了动态场景图像拼接后的动态伪影，解决了相关技术在采集周期内存在运动的场景或物体经过图像拼接后出现动态伪影，导致局部或整体无法恢复高分辨率的动态场景或目标等问题。

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种去除多张图像融合产生运动伪影方法及装置。

背景技术

现有的光学成像分辨率主要受三个因素限制：一是像感器的采样率：普遍流行的像感器时下主要分为CCD(Charge Coupled Device)和CMOS(Complementary Metal OxideSemiconductor)两类，将像素数目做多，像元尺寸做小都有利于更高清的分辨率图像生成；二是系统的光学衍射极限：根据瑞利分辨率判据，成像系统中各透镜的数值孔径决定了系统的分辨能力；三是像差，像差普遍存在于自然环境中，比如大气的散射等。同时像差也存在于镜头之中，由于镜头属于人工磨制的器件，会存在与理论光学中的理想透镜模型的偏差。另一方面，随着镜头尺寸的逐渐增大，理想光学系统中的近轴光学理论不再适用，离轴光线的轨迹难以像近轴光线那样易于预测。以上三点都限制了系统的成像能力，进一步地，阻拦十亿像素成像的发展。

而对于第一种由于像感器的采样导致的分辨率的损失可以使用像素平移或亚像素平移的方式进行补偿。比如对于一个目标场景，我们使用同一型号传感器采集多张具有像素尺度相对偏移的图像，并通过相对偏移量对图像进行融合，即可恢复相比于原始传感器像素分辨率高的图像。

相关技术中，一般通过对相对偏移后的图像根据偏移的相对位置关系进行直接的拼接。这种方法会导致在采集周期内存在运动的场景或物体经过图像拼接后出现动态伪影，导致局部或整体无法恢复高分辨率的动态场景或目标，亟待解决。

发明内容

本申请提供一种去除多张图像融合产生运动伪影方法、装置、设备及介质，以解决相关技术在采集周期内存在运动的场景或物体经过图像拼接后出现动态伪影，导致局部或整体无法恢复高分辨率的动态场景或目标等问题。

本申请第一方面实施例提供一种去除多张图像融合产生运动伪影方法，包括以下步骤：采集目标场景的多张初始图像；从所述多张初始图像中筛选低于预设分辨率的多张目标图像；将所述多张目标图像输入预先训练的图像融合模型，得到所述目标场景的去除融合中的运动伪影的无伪影图像，其中，所述预先训练的图像融合模型由多张低于第一预设分辨阈值的图像和对应的无伪影高于第二预设分辨率阈值的图像训练得到。

可选地，在本申请的一个实施例中，在将所述多张目标图像输入预先训练的图像融合模型之前，包括：采集训练场景的多张低于所述第一预设分辨阈值的第一训练图像以及与所述第一训练图像对应的多张高于所述第二预设分辨率阈值的第二训练图像，其中，所述第二预设分辨率阈值大于所述第一预设分辨率阈值；以所述第一训练图像为输入，所述第二训练图像为输出，训练神经网络模型；在所述神经网络模型满足训练终止条件时，生成所述预先训练的图像融合模型。

可选地，在本申请的一个实施例中，所述训练终止条件包括：所述神经网络的输出图像与输入图像的分辨率差值大于预设分辨率差值，或迭代次数满足预设次数。

可选地，在本申请的一个实施例中，在筛选所述低于预设分辨率的多张目标图像之后，还包括：检测所述多张目标图像间的相对偏移是否大于预设阈值；在检测到的所述多张目标图像间的相对偏移大于所述预设阈值时，将大于所述预设阈值的图像作为输入至所述预先训练的图像融合模型的目标图像。