[发明专利]图像合成方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种图像合成方法，其特征在于，所述方法包括：

获取包括多个局部区域的语义分割图以及与所述语义分割图同尺度的采样噪声图，每个所述局部区域存在用于表征其所属类别的类标签；

根据预先获取到的各个类标签所表征的对象之间的相似度信息，将所述语义分割图转换为语义和外观相关的语义向量；

通过对所述语义向量及所述采样噪声图进行处理，得到合成图像。

2.根据权利要求1所述的方法，其特征在于，所述方法应用于图像合成网络，所述图像合成网络包括语义向量生成子网络及语义渲染子网络；所述根据预先获取到的各个类标签所表征的对象之间的相似度信息，将所述语义分割图转换为语义和外观相关的语义向量，包括：

通过所述语义向量生成子网络及所述各个类标签所表征的对象之间的相似度信息，对所述语义分割图进行处理，得到与所述语义分割图对应的语义向量。

3.根据权利要求2所述的方法，其特征在于，所述语义向量生成子网络包括特征提取单元以及一个转换单元；所述通过所述语义向量生成子网络及所述各个类标签所表征的对象之间的相似度信息，对所述语义分割图进行处理，得到与所述语义分割图对应的语义向量，包括：

每个所述特征提取单元获取第一输入信息，其中，第一个所述特征提取单元的所述第一输入信息为所述语义分割图，第二个所述特征提取单元至最后一个所述特征提取单元的所述第一输入信息包括前一个所述特征提取单元的输出结果以及对应的语义分割图，所述对应的语义分割图与前一个所述特征提取单元所获取到的语义分割图同源，且尺度为前一个所述特征提取单元所获取到的语义分割图的预设倍数；

每个所述特征提取单元根据预先获取到的各个类标签所表征的对象之间的相似度信息，对所述第一输入信息进行特征提取，输出尺度为所述第一输入信息的尺度的所述预设倍数的特征图；

所述转换单元对每个所述特征图进行调整，得到多个语义向量。

4.根据权利要求3所述的方法，其特征在于，所述根据预先获取到的各个类标签所表征的对象之间的相似度信息，对所述第一输入信息进行特征提取，输出尺度为所述第一输入信息的尺度的所述预设倍数的特征图，包括：

对所述第一输入信息依次进行卷积操作、激活函数操作、卷积操作以及所述预设倍数的上采样操作，得到与所述第一输入信息对应的图像的各个位置的特征值；

根据所述各个位置所属的对应的类标签及所述各个类标签所表征的对象之间的相似度信息，对所述各个位置的特征值进行调整，以使相似度越高的区域所对应的特征值越相似，得到所述特征图。

5.根据权利要求3或4所述的方法，其特征在于，所述对每个所述特征图进行调整，得到多个语义向量，包括：

针对每个所述特征图，将该特征图的通道个数调整到预设通道数值后，对调整通道个数后的特征图进行归一化处理，得到与该特征图对应的语义向量。

6.根据权利要求5所述的方法，其特征在于，所述调整通道个数后的特征图为V∈R^h×w×n，其中，R为实数，h、w、n分别为所述调整通道个数后的特征图的宽度、高度以及通道数，所述对调整通道个数后的特征图进行归一化处理，得到与该特征图对应的语义向量，包括：

基于公式对所述V的各个取值进行处理，以将所述V的各个取值归一化到0至1之间，得到V∈[0,1]^h×w×n，从而所述对应的语义向量V_i,j∈[0,1]ⁿ；

其中，i、j、x分别表征所述调整通道个数后的特征图V的行号、列号以及通道编号，V_i,j,x表征所述调整通道个数后的特征图V中处于第i行第j列第x通道的特征的特征值，τ为预设参数，y是取值范围为1至n之间且为整数的参数，语义向量V_ij表征与当前所处理的语义分割图中的第i行j列所对应的n维特征向量。

7.根据权利要求3-6任一项所述的方法，其特征在于，所述特征提取单元的数量为一个或多个。