[发明专利]基于视觉注意力的实时的视频和图像抽象化方法

说明书

技术领域

本发明涉及计算机图像及视频处理技术领域，特别是涉及一种基于视觉注意力的实时的视频和图像抽象化方法。

背景技术

实时视频抽象化通过简化低对比度区域及增强高对比度区域，提供了一种简洁、快速、美观的可视信息交流工具。

当艺术家想要描绘一幅景色时，他们并不是直接画出场景里的所有可视信息。相反，他们只选择其中重要的信息，并用自己的想象力把这些信息展现出来。线条能够很有效和自然地描述信息，并且已经被人类使用了上万年了。近年来，由于能使图像及视频更易于理解，抽象化技术已经变得越来越流行。一些研究人员使用眼睛跟踪器来捕获被测试人员的注意力，提出了非均匀的图像抽象化方法，参见D.Decarlo and A.Santella.Stylization and Abstraction of Photographs.In Proceedings of the ACMSIGGRAPH，2002，pp 769-776。然而，眼睛跟踪器硬件昂贵，而且捕获视觉注意也需要花费额外时间，这种抽象化方法的速度是非常慢而且不适合普通用户的使用。

最近，一些研究人员提出了一个自动、实时的图像及视频抽象化框架。该系统使用可分离的双边滤波器来进一步减少低对比度区域的对比度，同时使用各向同性的高斯差分算法来人为地提高对比度区域的对比度，参见H.S.C.Olsen，and B.Gooch.Real-Time Video Abstraction.InProceedings of the ACM SIGGRAPH，2006，pp 1221-1226。还有一些研究人员使用双边网格来进一步加速双边滤波器算法，能够对较高分辨率的视频进行实时处理，参见J.Chen，S.Paris，and F.Durand.Real-TimeEdge-Aware Image Processing with the Bilateral Grid.In Proceedings of theACM SIGGRAPH，2007，pp.171-182。但所有这些自动抽象化方法都使用各向同性的算法来进行抽象化。这些算法确实能够在图形卡上快速运行，然而由于该算法是基于各向同性的，抽象化效果不具有流线感。一些研究人员先构造出图像的特征流场，然后利用该特征流场来进行基于流场的抽象化，提高了抽象化的效果，参见H.Zhao，X.Jin，J.Shen，X.Mao，and J.Feng.Real-Time Feature-Aware Video Abstraction.The Visual Computer，24(7)，2008，pp.727-734以及H.Kang，S.Lee，and C.K.Chui.Flow-BasedImage Abstraction.IEEE Transaction on Visualization and Computer Graphics，15(1)，2009，pp.62-76。然而上述所有算法都是假设高对比度区域为易于引起视觉注意的区域，而低对比度区域为不易引起视觉注意的区域。然而，相对于颜色和亮度，对比度本身也是一个重要的特征，对比度的变化往往也能引起视觉的注意。为了更好地传递可视信息，视觉上感兴趣区域的抽象化程度应该比背景区域的抽象化程度低一些。而现有算法不能很好地解决这个问题，整张视频和图像都是均匀抽象化的。Itti等人提出了一种自动的视觉注意力分布图生成算法，可以很好地指导图像的非均匀抽象化，参见L.Itti，C.Koch，and E.Niebur.A Model of Saliency-Based VisualAttention for Rapid Scene Analysis.IEEE Transaction on Pattern Analysis andMachine Intelligence，20(11)，1998，pp.1254-1259。然而这个方法运行速度慢，不能直接用于视频和图像的实时抽象化。

发明内容

本发明提供一种基于视觉注意力的实时的视频和图像抽象化方法。该方法采用了一种基于视觉感知模型，有效地解决了现有实时视频抽象化方法存在的整张视频和图像均匀抽象化的问题，本发明的每一个步骤都可以在家用电脑的图形卡硬件中并行处理，为非专业人员提供了一种简便直观的实时的视频和图像的抽象化方法。

为了达到上述目的，本发明采用以下技术方案如下：

包括以下七个步骤：

1)输入待处理的实时的视频和图像，待处理的实时的视频和图像是红绿蓝颜色空间的图像，其中颜色参数用C表示，对比度参数用O表示；