[发明专利]基于用户颜色引导的语义级别线稿上色方法

摘要

本发明属于计算机视觉技术领域，提供了一种基于用户颜色引导的语义级别线稿上色方法。该方法首先进行合成线稿的生成与颜色线条处理，使用条件生成对抗网络框架训练生成模型。该方法设计的生成对抗网络体系结构由四个子网络组成：生成器网络、判别器网络，局部特征网络以及特征提取网络，这四个网络协同作用，表现出了良好的引导上色效果。

主权项

1.一种基于用户颜色引导的语义级别线稿上色方法，其特征在于，步骤如下：(1)合成线稿的生成与颜色线条处理：使用XDoG算子对有颜色的原图进行线稿提取，XDoG算子参数设定如下：σ＝0.3/0.4/0.5，τ＝0.95，κ＝4.5；其中，σ为随机选取；训练时的颜色线条为从降采样4倍后的原图随机采样模拟，实际使用时对用户输入颜色样条降采样4倍后，每隔一个像素置0以使输入接近训练时的数据稀疏程度；(2)通过多个特征网络协同的条件生成对抗网络框架训练生成器，网络体系结构由四个子网络组成：生成器网络G、判别器网络D、局部特征网络F1和特征提取网络F2；其中，局部特征网络F1利用预训练参数，从二维线稿中提取蕴含语义信息的三维特征图，作为局部特征提供给生成器网络G和判别器网络D，生成器网络G利用输入的线稿、局部特征和颜色提示图作为输入合成上色图片；判别器网络D利用局部特征和有色图片，通过wasserstein距离对真实图片和合成图片予以区分，从而为生成器网络G提供对抗损失；特征提取网络F2提取真实图片和对应合成图片的特征图，通过在特征图层面计算两者之间均方差，作为生成器网络G损失，以建立生成器网络G输出与其潜在对应真实图片间的联系；多个网络协同训练，显示良好的上色效果；生成器网络G：以线稿图、局部特征和颜色提示图为输入；网络整体为U‑Net架构，线稿图和局部特征经带步长的卷积逐渐减少空间尺度，直到和局部特征网络输出具有相同空间尺度；而后这些特征经过4个子网络，每个子网络包括1个融合输入特征及跳跃链接特征的卷积层，Bn个ResNeXt模块以及1个PixelShuffle模块；其中B1＝20,B2＝10,B3＝10,B4＝5；设置B2,B3,B4的ResNeXt模块中的卷积为空洞卷积，以提高浅层卷积的感受野；对所有的卷积均使用0.2的LeakyRelu激活函数且不使用任何normalization层；减少模型显存的占用，使得模型感受野足够大到“看”到整张图片；判别器网络D：以局部特征和上色后图片为输入；使用局部特征而不是线稿图作为条件对抗网络的条件输入，以避免合成线稿对判别器网络D产生过拟合的影响；判别器网络D与生成器网络G使用相同的ResNeXt模块，且未将卷积置换为空洞卷积；局部特征网络F1：以线稿图为输入，利用了Illustration2Vec网络的前六层预训练网络参数作为局部特征网络，并使这部分参数不在训练过程更新；该设计使得生成器网络G和判别器网络D稳定从线稿获取不受训练过程中过拟合效应影响的特征；特征提取网络F2：以上色后图片为输入，利用预训练的VGG16网络前四层卷积层作为网络主体；所提其特征用于计算内容损失。