[发明专利]一种基于螺旋生成网络的高质量图像外推系统

权利要求书

1.一种基于螺旋生成网络的高质量图像外推系统，其特征在于，螺旋生成网络包括假想图生成网络、切片生成网络、螺旋辨别器和外推辨别器；

所述假想图生成网络包括假想图生成器和假想图辨别器，所述假想图生成网络用于在所述假想图生成器、所述假想图辨别器于假想图目标损失函数的对抗下，生成输入子图像的假想图；所述假想图生成器采用CycleGAN的生成器结构，所述假想图辨别器采用Pix2Pix的辨别器结构；

所述切片生成网络包括切片算子、切片生成器、外推算子；所述切片算子用于将所述假想图切出假想图切片以及将当前螺旋点的外推图像切出最近邻切片；所述切片生成器用于根据所述最近邻切片、所述假想图切片与所述输入子图像生成外推切片；所述外推算子用于将所述外推切片缝合回当前螺旋点的外推图像，得到下一螺旋点的外推图像，如此完成一次次的螺旋外推；所述切片生成器包括编码器、自适应实例归一化模块、空间自适应归一化模块、解码器；将所述假想图切片输入至所述编码器，通过自适应实例归一化模块在其隐变量空间中融合所述输入子图像的风格，其后在所述解码器中通过空间自适应归一化模块引入所述最近邻切片的语义信息，生成最终的所述外推切片；

所述螺旋辨别器和所述外推辨别器用于在螺旋损失目标函数的对抗下，输出多次螺旋外推后的目标图像；

所述假想图目标损失函数由第一对抗损失函数、色相-颜色损失函数、感知损失函数线性组合而成；所述色相-颜色损失函数的表达式为：

其中，是真实图像Y的缩小图像，是所述假想图，h×w是真实图像Y的尺寸，ξ与γ均为常数，γ＜1；

所述第一对抗损失函数的表达式为：

其中，G_I、D_I分别表示所述假想图生成器和所述假想图辨别器，表示输入子图像；

所述感知损失函数的表达式为：

其中，N_u是第u个激活层中特征矩阵的元素数量，σ_u是预训练模型VGG-19中第u层激活特征矩阵；

所述螺旋损失目标函数由第二对抗损失函数L1损失函数、风格损失函数、所述色相-颜色损失函数线性组合而成；

所述第二对抗损失函数的表达式为：

其中，F表示螺旋生成函数，D_S表示所述螺旋辨别器，D_E表示所述外推辨别器，表示螺旋生成的所述目标图像，表示的外推区域，E表示真实图像Y的外推区域，表示的外推区域，即表示与和Y等大的外推遮盖层；

所述L1损失函数的表达式为：

所述风格损失函数的表达式为：

其中，表示从激活图σ_v中构造的G_v×G_vGram矩阵。

2.如权利要求1所述的一种基于螺旋生成网络的高质量图像外推系统，其特征在于，所述假想图目标损失函数的表达式为：

其中，分别表示所述第一对抗损失函数、所述感知损失函数，是用于平衡三类损失的权重。

3.如权利要求2所述的一种基于螺旋生成网络的高质量图像外推系统，其特征在于：将所述输入子图像叠加外推遮盖层M与均匀分布噪声Z后输入所述假想图生成网络中，得到所述假想图。

4.如权利要求2所述的一种基于螺旋生成网络的高质量图像外推系统，其特征在于，所述螺旋损失目标函数的表达式为：

其中，分别表示所述第二对抗损失函数、所述L1损失函数、所述风格损失函数、所述色相-颜色损失函数，λ_adv、λ_L1、λ_style、λ_hue是用于平衡这四类损失的权重。