[发明专利]图像增强方法、装置、电子设备及存储介质

权利要求书

1.一种图像增强方法，其特征在于，所述方法包括：

获取待处理的目标图像；

对所述目标图像进行语义分割，得到所述目标图像的n个语义区域，n为大于1的整数；

将参考图像和所述目标图像输入风格迁移增强网络得到输出图像，所述风格迁移增强网络包括ι个卷积层，ι为正整数；

计算所述输出图像和所述参考图像之间的自适应影响因子风格损失L_s，所述自适应影响因子风格损失用于所述输出图像中的n个语义区域按照对应的影响因子进行风格转移后的风格损失之和；

计算所述输出图像和所述目标图像之间的内容损失L_c；

根据总损失将所述输出图像在所述ι个卷积层中进行迭代增强，所述总损失包括所述自适应影响因子风格损失L_s和所述内容损失L_c；

当所述总损失收敛时，将所述输出图像确定为增强后的目标图像；

其中，所述影响因子用于表示对所述语义区域进行增强时的程度。

2.根据权利要求1所述的方法，其特征在于，所述计算所述输出图像和所述参考图像之间的自适应影响因子风格损失L_s，包括：

按照如下公式计算所述输出图像和所述目标图像之间的所述自适应影响因子风格损失L_s：

其中，O是所述输出图像，R是所述参考图像，r是所述语义区域的标签，Λ是各个影响因子构成的矢量，是第ι个卷积层上第r个语义区域的影响因子，是第ι个卷积层上第r个语义区域的格尔曼矩阵，N^ι是第ι个卷积层上的特征图个数。

3.根据权利要求1所述的方法，其特征在于，所述计算所述输出图像和所述目标图像之间的内容损失L_c，包括：

按照如下公式计算所述输出图像和所述目标图像之间的所述内容损失L_c：

其中，O是所述输出图像，L是所述目标图像，α^ι是每个卷积层的内容权重，r是所述语义区域的标签，N^ι是第ι个卷积层上的特征图个数，D^ι是矢量化特征图的维数，是第ι个卷积层上的第r个语义区域对应的特征图。

4.根据权利要求1所述的方法，其特征在于，所述总损失还包括：拉普拉斯矩阵损失项，所述拉普拉斯矩阵损失项用于保证所述输出图像的真实化；所述方法还包括:

按照如下公式计算所述输出图像的拉普拉斯损失项：

其中，O是所述输出图像，V_c[.]是所述输出图像的矢量C通道，所述M_L是定义在拉普拉斯抠图矩阵上的线性系统。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述输出图像和所述参考图像的特征输入全连接层得到ι*m的参数矩阵，所述全连接层用于自适应生成不同卷积层的各个语义区域类别的增强因子；

根据所述ι*m的参数矩阵确定第ι个卷积层上的第m个语义区域的增强因子。

6.根据权利要求1所述的方法，其特征在于，所述将所述参考图像和所述目标图像输入风格迁移增强网络得到输出图像，包括：

调用语义分割神经网络对所述参考图像进行语义分割，得到所述参考图像上的k个语义区域；

将所述参考图像上的k个语义区域和所述目标图像上的n个语义区域输入所述风格迁移增强网络得到所述输出图像。

7.根据权利要求1至6任一所述的方法，其特征在于，所述将参考图像和所述目标图像输入风格迁移增强网络得到输出图像之前，还包括:

调用检索神经网络从多个参考图像中，确定出与所述目标图像匹配的参考图像，所述检索神经网络用于根据语义相似度和/或风格相似度对所述参考图像进行相似度排名。