[发明专利]一种图像数据增广方法及装置

权利要求书

1.一种图像数据增广方法，其特征在于，包括：

获取真实图像及每一真实图像所对应的与其逐像素对应的真实标注；

构建标注生成网络和风格迁移网络；其中，所述标注生成网络用于根据真实标注，生成虚拟标注；所述风格迁移网络用于将虚拟标注转换成虚拟图像；

以所述标注生成网络的输出作为所述风格迁移网络的输入，将所述标注生成网络与所述风格迁移网络合并成图像数据增广网络，并基于真实图像及其真实标注，采用基于生成器和判别器的损失函数，训练所述图像数据增广网络；

利用训练好的图像数据增广网络，生成待增广的真实图像及其真实标注所对应的虚拟图像和虚拟标注，作为待增广的真实图像及其真实标注的数据增广；

所述标注生成网络包括多尺度标注生成器和带有多尺度连接的标注判别器；其中，

所述标注生成器用于生成多尺度的虚拟标注；

所述标注判别器用于计算判别分数，判别真实标注和虚拟标注；

所述标注生成器生成多尺度的虚拟标注的过程，包括：

从多维高斯分布中随机采样初始隐变量；使用转置卷积和3×3卷积对初始隐变量做上采样操作，将初始隐变量的特征尺寸扩大为4×4大小，再依次经过连续卷积和插值上采样层，逐渐扩大特征图尺度，并采用1×1卷积将生成过程中不同尺度的特征转化为单通道的虚拟标注，最终获得多尺度的虚拟标注；

所述标注判别器计算判别分数，判别真实标注和虚拟标注的过程，包括：

将待判别的标注数据经过1×1卷积转化，得到多尺度多维特征；

将所述多尺度多维特征分别在不同尺度下与特征图经过平均池化下采样后的特征进行通道级联，再分别经过3x3卷积层进行特征融合，最后经过全连接层获得标注的1维高层特征；

将标注的1维高层特征经过判别函数获得判别分数，以判别当前待判别的标注数据为真实标注还是虚拟标注；其中，所述判别函数为SoftMax或SVM；

所述风格迁移网络包括多尺度图像生成器和带有多尺度连接的图像判别器；其中，

所述图像生成器用于生成与虚拟标注具有相同底层语义结构的虚拟图像；

所述图像判别器用于计算判别分数，判别真实图像和虚拟图像；

所述图像生成器生成与虚拟标注具有相同底层语义结构的虚拟图像的过程，包括：

从多维高斯分布中随机采样初始隐变量，使用转置卷积和3×3卷积对初始隐变量做上采样操作，将初始隐变量的特征尺寸扩大为4×4大小；并使用自适应正则化模块将不同尺度的虚拟标注作为输入，送入所述图像生成器中，进行特征归一化；再依次经过连续卷积和插值上采样层，使得特征分辨率依次扩大，最终输出与虚拟标注具有相同底层语义结构的虚拟图像；

所述图像判别器计算判别分数，判别真实图像和虚拟图像的过程，包括：

将最大尺度待判别图像及其标注数据进行通道级联，并经过多次3x3卷积层和下采样层进行特征提取，最后经过全连接层获得图像的1维高层特征；

将图像的1维高层特征经过判别函数获得判别分数，以判别当前待判别图像为真实图像还是虚拟图像；其中，所述判别函数为SoftMax或SVM；

所述基于生成器和判别器的损失函数的表达式为：

其中，L表示损失函数，L_GANL和L_GANI分别表示所述标注生成网络和所述风格迁移网络的梯度损失；λ₁和λ₂为两个不小于零的超参数；

L_GANL包括标注生成器损失L_GL和标注判别器损失L_DL；

其中，x_r为真实标注，x_f为经过所述标注生成器生成的虚拟标注，E(.)表示求解期望值，表示经过调整后，当输入为虚拟标注x_f时，标注判别器认为来自真实标注的概率，表示经过调整后，当输入为真实标注x_r时，标注判别器认为来自真实标注的概率，D(x_f)表示当输入为虚拟标注x_f时,标注判别器认为来自真实标注的概率，D(x_r)表示当输入为真实标注x_r时，标注判别器认为来自真实标注的概率；

L_GANI包括图像生成器损失L_GI和图像判别器损失L_DI；

L_DI＝E(max(0，1-D(x_r′)))+E(max(0，1+D(x_f′)))

L_GI＝-E(D(x_f′))

其中，x_r′表示真实图像，x_f′表示经过所述图像生成器生成的虚拟图像，D(x_r′)表示当输入为真实图像x_r′时，所述图像判别器认为来自真实图像的概率，D(x_f′)表示当输入为虚拟图像x_f′时，所述图像判别器认为来自真实图像的概率；

L_ms为模式寻找损失，用于避免网络训练过程中的模式崩溃。