[发明专利]一种基于多重残差网络和正则化迁移学习的图像着色方法

说明书

本发明公开一种基于多重残差网络和正则化迁移学习的图像着色方法，包括：制作灰度图像数据集；利用基于多重残差网络构造的图像特征提取模块提取图像特征；基于正则化迁移学习框架训练图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；将图像特征和图像语义特征输入到图像融合模块进行融合，获得灰度图像的融合特征；将灰度图像的融合特征输入到基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像。本发明基于多重残差网络构造图像特征提取模块和图像着色模块，提高网络的性能；基于正则化迁移学习框架训练图像语义特征提取模块，并提取图像语义特征，提高语义特征提取的准确率和图像着色的精确度。

技术领域

本发明涉及图像着色技术领域，特别是涉及一种基于多重残差网络和正则化迁移学习的图像着色方法。

背景技术

着色技术的研究与应用早在20世纪80年代就已经展开，从最开始的时候人们用手工的方式在黑白图像上涂上自己喜欢的颜色，到最早期的黑白胶片演变成彩色的图像，图像着色的技术越来越成熟，而且应用于更广泛。例如在遥感、卫星领域中，着色技术起到非常大的作用；在医学领域，图像着色也广泛应用于X光、CT、MR等医学影像处理。

近几年，深度学习方法被引入到图像着色领域，使得基于数据驱动的图像着色算法有了很大提升，逐步形成一系列基于深度学习方法的图像着色算法，对图像着色技术产生重大的影响。

早期日本早稻田大学的Iizuka等人提出了一种基于深度学习的端到端灰度图像自动着色方法，该方法提出了使用双流结构网络，对全局特征和局部特征进行提取，然后将两个特征进行融合，通过全局特征指导局部特征进行着色。但现有的基于深度学习的图像着色方法存在图像部分场景着色效果不佳的问题。这些方法大多在进行着色时，会使用语义特征对图像模型进行指导，会存在语义特征提取网络精确度较低的问题。

发明内容

本发明的目的是提供一种基于多重残差网络和正则化迁移学习的图像着色方法，以提高图像着色的精确度和网络的稳定性。

为实现上述目的，本发明提供了如下方案：

一种基于多重残差网络和正则化迁移学习的图像着色方法，所述方法包括：

制作灰度图像数据集；

将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中，利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征；

基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；

将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征；

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像。

可选的，所述制作灰度图像数据集，具体包括：

获取彩色图像数据集；所述彩色图像数据集包括多张彩色图像；

对所述彩色图像数据集依次进行旋转、随机裁剪和数据增强处理，获得彩色图像增强数据集；

对所述彩色图像增强数据集进行灰度化处理，得到灰度图像数据集。

可选的，所述基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征，具体包括：

采用拉普拉斯算子对所述灰度图像进行锐化处理，获得锐化图像；

将所述锐化图像输入到所述正则化迁移学习框架，对灰度图像着色网络中的图像语义特征提取模块进行训练，获得图像语义特征。