[发明专利]一种基于神经网络的单个图像重新着色方法

说明书

本发明公开了一种基于神经网络的单个图像重新着色方法，该方法包括输入待处理彩色图像，用户在待处理彩色图像进行线条着色，获得着色图像；提取着色线条所在区域的像素特征值和相应的着色线条分类为数据集，随机采样数据集中的数据作为训练神经网络的训练数据；构建图像重新着色分类神经网络，训练该神经网络；将待重新着色图像中逐个像素的特征值作为神经网络的输入，获得每个像素属于着色线条的似然概率；根据神经网络输出的每个像素属于着色线条的似然概率，计算最终的图像重新着色结果。本发明避免神经网络在训练阶段需要大规模的训练样本的弊端，达到近实时的交互性能，用户只需要输入少量的用户着色线条，获得高质量的图像重新着色效果。

技术领域

本发明涉及一种彩色图像重新着色方法，尤其是一种基于神经网络的单个图像重新着色方法。

背景技术

图像重新着色(Recoloring)是指修改和调整图像颜色外观的处理过程。传统的重新着色技术是通过纯手工或者在计算机软件辅助下完成的，这项工作需要人工消耗大量的时间。因此近几年国内外许多科研人员不断探索新的方法来改善重新着色技术的效率和效果。虽然目前国内外在重新着色技术已经取得了很大进展，但是目前还需要进一步进行改善，问题主要体现在处理的效果和效率上。在效果方面，现有的图像重新着色方法经常会出现色彩渗透现象，图像重新着色的目标是使用尽可能少的用户交互，产生符合要求的高质量图像重新着色效果。在效率方面，当图像尺寸达到一定规模，求解非常耗时，而且由于计算机内存限制，图像尺寸进一步增加，有些重新着色方法甚至将无法获得重新着色结果。

图像重新着色方法通常分为基于色彩迁移技术和基于着色线条传播技术。基于色彩迁移技术利用待重新着色图像和参考图像之间的映射关系来改变图像的颜色，这种方法的效果严重依赖于参考图像的选取，而寻找具有相似外观的参考图像是一项艰巨的工作，从而限制了该方法的应用。参见：E.Reinhard,M.Ashikhmin,B.Gooch,andP.Shirley.Color transfer between images.IEEE Comput.Graph.Appl.,2001,21(5):34–41。由于参考图像选取十分困难，有些方法直接采用调整调色板来编辑图像颜色。参见：Q.Zhang,C.Xiao,H.Sun and F.Tang.Palette-Based Image Recoloring Using ColorDecomposition Optimization.IEEE Transactions on Image Processing.2017,26(4):1952-1964,。Huang H Z等人提出了一种数据驱动的方法，从数据库中自动寻找匹配的参考图像，用于自动对照片进行重新着色，以增强照片的外观或改变观众对照片的情绪反应，对于一个新的输入图像，该方法可以生成多个重新着色的结果供用户选择，但是该方法需要和数据库中的图片逐一进行特征匹配，需要消耗大量的时间。参考Huang H Z,Zhang S H,Martin R R,et al.Learning Natural Colors for Image Recoloring[J].ComputerGraphics Forum,2014,33(7):299-308。相对来说基于着色线条传播技术允许用户交互式的输入着色线条，这种方法能更好的体现用户的交互性，获得高质量的重新着色效果。最近几年很多学者开始研究采用卷积神经网络训练来解决参考图像选取的问题，卷积神经网络能够有效的提取图像中的信息，这类方法通常利用现有的大规模场景分类数据库来训练卷积神经网络模型，当卷积神经网络模型训练完后，输入的待重新着色图像只需要进行一次前向传播，就能快速的获得重新着色效果。这种方法很好的解决了基于色彩迁移技术中参考图像选取的问题，但是正是这种方法能全自动的对图像进行重新着色，不需要用户的交互，因此获得的重新着色效果往往不是用户想要的结果。参见：Satoshi Iizuka,EdgarSimo-Serra,and Hiroshi Ishikawa.Let there be color！:joint end-to-end learningof global and local image priors for automatic image colorization withsimultaneous classification.ACM Transactions on Graphics(TOG),2016,35(4):110。