[发明专利]基于异源特征融合的图像生成方法、可读存储介质

权利要求书

1.一种基于异源特征融合的图像生成方法，其特征在于，包括：

获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；

分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；

选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；

第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；

按预定顺序依次选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；

第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；

将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。

2.一种基于异源特征融合的图像生成方法，其特征在于，包括：

获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；

分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；

选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图，对选取的所述目标图像的第一特征图和所述掩膜图进行相同的几何变换，之后将所选取的所述源图像、所述目标图像的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；

第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；

按预定顺序依次将所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；

第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；

将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。

3.如权利要求1或2所述的图像生成方法，其特征在于，所述分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，包括：

分别将所述源图像以及每个所述目标图像输入特征提取网络，得到所述源图像以及每个所述目标图像N个分辨率递减的特征图，将这些特征图作为第一特征图组成第一特征图组；

其中所述特征提取网络包括N个下采样模块，每个下采样模块产生一个特征图，N为正整数且N≥2。

4.如权利要求3所述的图像生成方法，其特征在于，每个所述下采样模块包括一个下采样层和若干个卷积-激活层。