[发明专利]基于异源特征融合的图像生成方法、可读存储介质

说明书

基于异源特征融合的图像生成方法、可读存储介质，该方法包括：获取源图像以及每个目标图像多个不同分辨率的第一特征图；选取源图像、每个目标图像分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；按预定顺序依次选取源图像、每个目标图像分辨率相同的第一特征图作为第二待融合特征图执行第二特征融合步骤；在第一特征融合步骤，根据预设的掩膜图从各第一待融合特征图中选取像素点组成融合特征图，在第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合再作为第一待融合特征图执行第一特征融合步骤。该方法对来自不同图像的特征进行多尺度的特征融合，能够合成更为真实的图像。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于异源特征融合的图像生成方法、可读存储介质。

背景技术

近年来，深度学习成为了国内外各大领域关注的焦点，深度学习包括了监督学习和无监督学习两类。在计算机视觉领域，监督学习指的是通过图像和与图像一一对应的标注信息训练神经网络，使其能够完成分类、目标检测和语义分割等工作。无监督学习只需要图像，不需要额外的标注信息进行训练。

在大多数场景下，监督学习的效果比无监督学习更好，但由于监督学习需要大量的图像和标注信息，极大地限制了深度学习算法的验证和落地，因为：一方面，标注图像费时费力；另一方面，对于缺陷检测等工业场景，通常样本比较匮乏，尤其是缺陷样本，因此能够获得的缺陷图像数量少，难以收集到足够数量的样本。

为了弥补工业缺陷检测中缺陷图像样本不足的问题，当前主要是通过缺陷的剪切和拼接技术实现多种不同缺陷的融合，生成新的缺陷图像样本，但通过这种技术融合后的缺陷与真实样本之间差异较大，并且边缘差异明显。例如现有的基于抠图算法的图像合成技术，由于来自不同图像的图像块之间存在不一致的问题，导致合成的图像出现像素不连续、存在尖锐的边缘、光照不一致等情况。

发明内容

本发明主要解决的技术问题是现有的图像合成方法所生成的图像与真实图像之间差异较大的问题。

根据第一方面，一种实施例中提供一种基于异源特征融合的图像生成方法，包括：

获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；

分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；

选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；

第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；

按预定顺序依次选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；

第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；

将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。

根据第二方面，一种实施例中提供一种基于异源特征融合的图像生成方法，包括：

获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；