[发明专利]基于局部特征结构保持的视频图像内容编辑传播方法

说明书

技术领域

本发明涉及图像处理、计算机视觉和增强处理技术领域，具体地说是一种基于局部特征结构保持的视频图像内容编辑传播方法。

背景技术

数字图像领域中，最常见的图像处理方法之一是根据视频图像内容，进行编辑处理。例如，改变视频图像的颜色；将不同视频源的对象融合到一起，形成一个无编辑痕迹的视频；精确提取图像中的毛发等。对于艺术设计者或者从事影视编辑的工作人员来说，为了对一个视频的颜色、内容进行编辑，将进行大量的手工编辑。事实上，视频图像内容特征之间通常具有某种内在联系。能根据这些内在联系，自动的进行视频图像编辑，可以在很大程度上提高视频图像编辑效率。

目前，一些科研工作者在相关技术上开展了研究。在图像编辑方面，大量的研究工作已经对此进行了探讨。Fabio Pellacini等人在2008年提出了基于所有像素相似性的编辑传播方法，但是该方法需要的时空资源太大，无法处理大图像或者视频数据；Kun Xu等人基于Fabio Pellacini等人的工作，在2009年提出了基于KD tree的编辑传播方法，该方法解决了Fabio Pellacini等提出方法的时空消耗问题，节省了系统资源，但是其针对颜色过渡区域会出现颜色异常现象。Zeev Farbman等人在2010年提出了基于扩散图(diffusion map)的编辑传播方法，该方法利用扩散距离(diffusion distance)来衡量所有像素点之间的相似度，但是其依然在效率上不高，同时，这种方法不能有效的反映出像素之间的不相似性，而且针对颜色过渡区域的像素点，处理结果不理想。

在颜色风格一致化方面，2001年，布里斯托大学的Eric Reinhard等人是利用颜色空间的转换，将目标图像和参考图像首先从RGB颜色空间转换到lαβ颜色空间，然后在这三个通道上分别求取二阶统计量期望方差，再针对目标图像的每一个像素，进行缩放旋转，求得的最终结果转换为RGB颜色空间即为结果图像的像素颜色值，该方法简单有效，但是针对复杂的图像，需要用户指定样本进行颜色转换。针对这个问题，2005年，日本的Chang等人提出了一种基于颜色分类的方法实现颜色转换。其首先将目标图像和参考图像按照颜色差异，分成多个颜色类，然后在对应的颜色类之间进行颜色转换。Pitie.F等人以一种全新的思路，在证明了N维概率密度函数转移的可行性并将它运用到颜色迁移领域，在灰度图像中，利用直方图规定化实现图像灰度变换使其具有特定的直方图形式。直方图是概率分布密度的体现，而直方图规定化是目标图像概率分布密度映射到期望概率分布密度的过程，也就一维概率密度函数转移。而N维概率密度函数转移是基于一维展开的。设f(x)和g(x)是源图像和目标图像的颜色概率密度分布，x_i＝(r_i，g_i，b_i)，r_i、g_i、b_i分别代表红绿蓝三色，选择任意一个旋转矩阵尺，旋转后对N维分别作一维概率密度函数转移，重复多次，直到收敛，得到迁移后的新图像。但是，现有技术的生成的结果图像颜色过渡不平滑，有很多块状，需要通过二次处理对图像进行平滑，并且容易产生一些不自然的着色效果。因此，针对自动颜色转换方法中的这些问题，出现了一些基于交互式的颜色转换方法。Takahiko将概率松弛法引入颜色迁移，以选取最优的颜色信息迁移给目标图像素。2003年Takahiko等人又提出种子像素的概念，由用户选取一些彩色像素作为灰度图像的种子，利用颜色繁殖完成颜色迁移。Tomohisa等人改进了颜色繁殖算法，引入图像分割防止错误繁殖边缘像素颜色，并提出了新的基于CIELAB颜色空间的彩色化算法，但是该方法不能保证结果图像既能在颜色视觉上逼近参考图像的颜色的同时，保持目标图像的颜色流形线性结构。

在场景对象融合方面，一些研究机构在这方面也开展了研究。2003年Perez等人提出了一种基于泊松方程和狄利克雷边界条件的图像场景融合方法。该种方法能够较好的融合插入的对象，但是时间空间消耗率太大。2009年，Zeev Farbman等人提出了基于中值坐标的视频图像场景快速融合方法，很大程度上改善了泊松方法的时空效率，但是该种方法容易受到插入对象的形状影响。