[发明专利]一种多模态半色调图像的逆半色调化方法

权利要求书

1.一种多模态半色调图像的逆半色调化方法，其特征在于，具体按照以下步骤实施：

步骤1、采集不同类型的连续调图像，并利用不同种类的半色调方法生成不同模态的半色调图像，并构建半色调数据集和模态风格转换数据集；

步骤2、构建误差扩散型半色调图像到连续调图像转换的逆半色调转换网络，并利用逆半色调数据集D₁进行训练和验证，实现误差扩散型半色调图像的逆半色调化；

步骤3、构建不同模态类型的半色调图像到误差扩散型半色调图像转换的模态风格转换网络，并利用模态风格转换数据集D₂进行训练和验证；实现不同模态的半色调图像到误差扩散型半色调图像转换；

步骤4、对于输入的任一类型的其它模态的半色调图像，先用步骤3构建并训练好的模态风格转换网络将其转换为误差扩散型风格的半色调图像，再用步骤2构建并训练好的逆半色调转换网络将其转换为对应的连续调图像。

2.根据权利要求1所述的一种多模态半色调图像的逆半色调化方法，其特征在于，所述步骤1中不同种类的半色调方法包括误差扩散法、点扩散法抖动法和直接二值搜索法；其中半色调数据集由误差扩散法半色调图像和对应的连续调图像组成，用D₁表示；模态风格转换数据集由其它模态的半色调图像和其对应的误差扩散型的半色调图像组成，用D₂表示。

3.根据权利要求2所述的一种多模态半色调图像的逆半色调化方法，其特征在于，所述D₁和D₂可按照一定的比例随机划分为训练集和测试集。

4.根据权利要求1所述的一种多模态半色调图像的逆半色调化方法，其特征在于，所述步骤2中，逆半色调转换网络由内容提取模块和细节增强模块两部分组成，具体的：

内容提取模块，其输入为误差扩散型半色调图像，通过卷积核大小为3×3的卷积生成64个特征图，再通过中间三路不同尺度模块进行半色调噪声去除和内容恢复，接着中间三路的输出特征图堆叠，然后通过卷积核大小为3×3的卷积生成3通道的初始连续调图像；

细节增强模块，用于学习生成的初始连续调图像与真实连续调图像之间的细节残差；其输入为误差扩散型半色调图像与内容提取模块输出的初始连续调图像的通道堆叠，然后通过卷积核大小为3×3、步幅为1的卷积生成64个特征图，再经过8个残差稠密块得到细节残差输出，最后细节残差输出和生成的初始连续调图像进行相加得到最终的连续调图像；

逆半色调转换网络训练时的损失函数L，由内容损失L_c、感知损失L_p及边缘细节损失L_e组成：

L＝L_c+2L_p+0.05L_e，

其中：I_c表示一幅连续调图像，I_h是其对应的半色调图像，C(I_h)表示由I_h通过内容提取模块生成的初始连续调图像，G(I_h)表示由I_h最终生成的连续调图像，算子LF(·)表示低通滤波，算子VGG_l(·)表示用VGG19模型提取其Conv_4-4层的特征，算子S(·)表示进行Sobel边缘提取；

对于数据集D₁中的训练数据集和损失函数训练逆半色调转换网络，利用数据集D₁中的测试数据集验证该逆半色调转换网络。

5.根据权利要求4所述的一种多模态半色调图像的逆半色调化方法，其特征在于，所述中间三路不同尺度的模块，第一路为4个残差稠密块，采用的卷积核大小均为3×3，特征通道数均为64；第二路首先通过卷积进行降采样，然后是4个残差稠密块，再通过线性插值进行上采样，最后该路的输入通过跳连接和该路的上采样输出相连接，作为该路的输出；第三路首先在第二路的降采样的基础上再通过卷积进行一次降采样，然后是4个残差稠密块，接着进行一次上采样，并和该路的输入进行跳连接，最后再进行一次上采样作为该路的输出。