[发明专利]图像颜色编辑方法及装置

说明书

本发明提供了一种图像颜色编辑方法及装置，所述方法通过用户输入的不同类别的用户交互信息，确定待编辑图像中每一类别的种子像素集对应的距离图，并将每一距离图作为待编辑图像的一个新的通道图，结合待编辑图像的RGB三个通道图，确定预设数量的多通道图像子块。基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据深度特征，得到待编辑图像中每一像素所属类别的概率。最后根据得到的概率，并基于最小化的图像分割能量函数，确定待编辑图像中每一像素所属类别，并对所述待编辑图像的颜色进行编辑。本实施例提供的图像颜色编辑方法，有效的结合待编辑图像中像素的距离信息和颜色信息，从而保证了图像颜色编辑的准确性。

技术领域

本发明涉及图像处理领域，更具体地，涉及图像颜色编辑方法及装置。

背景技术

目前，随着手机拍照功能和数码相机的普及，人们在生活中常常会拍摄出大量的图像和视频。且伴随着互联网的迅速发展，人们会在互联网上进行图片和视频的分享。为此，人们希望寻求方便快捷的图像和视频处理工具以满足实际应用的需求，其中图像的颜色编辑技术近年来倍受研究人员关注。现有的图像颜色编辑方法主要分为两大类：基于用户交互的图像颜色编辑方法和基于实例的图像颜色编辑方法。其中，基于用户交互的图像颜色编辑方法需要用户具有一定的图像处理的专业素质，通过提供充足的用户交互信息以得到令用户满意的图像颜色编辑结果；基于实例的图像颜色编辑方法则需要用户提供合适的彩色参考图像，此类方法的颜色编辑效果几乎完全取决于提供的彩色参考图像，即当所选的彩色参考图像与待编辑图像的风格迥异时，此类方法很难得到理想的图像颜色编辑结果。

随着深度学习的发展，深度神经网络(Deep Neural Network，DNN)被广泛地应用于图像语义分类、目标物体检测、场景图像语义分割等任务且取得了突破性成绩，这是因为DNN具有监督式端到端逐层特征自学习方式和强大的特征表达能力。近几年，研究学者提出了许多基于DNN的图像颜色编辑工作。在结合DNN后，基于实例的图像颜色编辑方法首先根据提供的大规模图像数据库，通过训练DNN以获得网络模型的参数，即构建训练后的网络模型。在训练结束后，用户只需要将待编辑图像作为深度神经网络的输入，通过进行网络的前向计算就能很快地进行图像颜色编辑，且颜色编辑效果得到了明显改善。而基于用户交互的图像颜色编辑方法是将待编辑图像和用户交互图像作为网络的输入，并进行网络模型训练；已训练的网络模型能够传播用户交互图像上的颜色信息到原图像上，从而得到最终的颜色编辑结果。

现有技术中有研究人员从彩色图像数据库中采样彩色图像作为训练样本，且进行精确的特征提取，包括较低层次的原图像子块、中等层次的DAISY特征和高层次语义特征，以训练网络模型。最后利用双边滤波技术进一步改善网络输出的色度图，从而最终获得理想的彩色化结果。由于需要对所有训练样本进行精确的分割，且得到的颜色编辑结果依赖于图像分割，当所没有对应的分割类别时，会导致图像颜色编辑结果很不理想。

发明内容

为克服上述问题或者至少部分地解决上述问题，本发明提供了一种图像颜色编辑方法及装置。

一方面，本发明提供了一种图像颜色编辑方法，包括：

S1，基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；

S2，将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；

S3，基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；