[发明专利]图像合成方法、装置、电子设备及计算机可读存储介质

说明书

本发明涉及一种图像合成方法、装置、电子设备及计算机可读存储介质，属于图像处理领域。该方法通过各个类标签所表征的对象之间的相似度信息对特征图的特征值进行调整，使得后续生成的语义向量中，用于表征特征图中的相似区域(例如左眼区域与右眼区域)的对应标量也相似，因此，后续用于处理相似区域的残差计算单元的处理参数相似，从而使得本该相似的区域在最终得到的合成图像中呈现出相似的效果，有利于提高显示效果。

技术领域

本申请属于图像处理领域，具体涉及一种图像合成方法、装置、电子设备及计算机可读存储介质。

背景技术

将语义分割图像输入到对抗网络，从而将语义分割图转换成较为逼真的自然图像。由于语义分割图像中的各个局部所对应的标签不一样，因此，在合成自然图像时，各个局部的处理方式也不相同，导致最后合成的自然图像中，相似局部之间存在较大差异，例如左右眼不对称，左右眉毛颜色不一致等，影响自然图像的显示效果。

通过外表相似度，为各个局部区域之间建立联系，从而使得后续对各个局部区域进行转换时，采用的是相似的处理方式(相似位置的语义向量取值相似，得到的残差计算单元也相似)，有利于提高合成图像的显示效果。

发明内容

有鉴于此，本申请的目的在于提供一种图像合成方法、装置、电子设备及计算机可读存储介质，有利于提高合成图像的显示效果。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供一种图像合成方法，所述方法包括：

获取包括多个局部区域的语义分割图以及与所述语义分割图同尺度的采样噪声图，每个所述局部区域存在用于表征其所属类别的类标签；根据预先获取到的各个类标签所表征的对象之间的相似度信息，将所述语义分割图转换为语义和外观相关的语义向量；通过对所述语义向量及所述采样噪声图进行处理，得到合成图像。

在上述图像合成过程中，由于是根据各个类标签所表征的对象之间的相似度信息来将语义分割图转换为语义和外观相关的语义向量，从而使得后续生成的语义向量中，用于表征语义分割图中的相似区域(例如左眼区域与右眼区域)的对应标量也相似，因此，后续用于处理相似区域的处理参数相似，从而使得本该相似的区域在最终得到的合成图像中呈现出相似的效果，有利于提高显示效果。

结合第一方面，在一些实施方式中，所述方法应用于图像合成网络，所述图像合成网络包括语义向量生成子网络及语义渲染子网络；所述根据预先获取到的各个类标签所表征的对象之间的相似度信息，将所述语义分割图转换为语义和外观相关的语义向量，包括：通过所述语义向量生成子网络及所述各个类标签所表征的对象之间的相似度信息，对所述语义分割图进行处理，得到与所述语义分割图对应的语义向量。

结合第一方面，在一些实施方式中，所述语义向量生成子网络包括特征提取单元以及一个转换单元；所述通过所述语义向量生成子网络及所述各个类标签所表征的对象之间的相似度信息，对所述语义分割图进行处理，得到与所述语义分割图对应的语义向量，包括：

每个所述特征提取单元获取第一输入信息，其中，第一个所述特征提取单元的所述第一输入信息为所述语义分割图，第二个所述特征提取单元至最后一个所述特征提取单元的所述第一输入信息包括前一个所述特征提取单元的输出结果以及对应的语义分割图，所述对应的语义分割图与前一个所述特征提取单元所获取到的语义分割图同源，且尺度为前一个所述特征提取单元所获取到的语义分割图的预设倍数；每个所述特征提取单元根据预先获取到的各个类标签所表征的对象之间的相似度信息，对所述第一输入信息进行特征提取，输出尺度为所述第一输入信息的尺度的所述预设倍数的特征图；所述转换单元对每个所述特征图进行调整，得到多个语义向量。