[发明专利]基于左右单眼感受野和双目融合的立体视觉显著计算方法

说明书

技术领域

本发明涉及一种基于左右单眼感受野和双目融合的立体视觉显著计算方法，属于计算机视觉技术领域。

背景技术

在人类所面对的大千世界中，任意时刻都有海量信息存在人类周围。然而一方面人类的感觉系统能力有限，无法同时接受全部信息；另一方面与感觉系统相比，大脑的信息处理能力非常有限，在这两者之间出现了瓶颈问题。为了有效的接收信息和处理信息，视觉注意是精神系统必不可少的一个部分。

人类的视觉系统（HVS）在面对一个复杂场景时能够迅速对视觉场景中非重要信息进行选择性滤除，从而将注意力集中在少数视觉显著的对象上，该过程被称为视觉注意（Visual Attention）。视觉注意是人类精神系统非常重要的功能，能够将精神活动集中于感官事件或精神事件。它是视觉感知模型的一部分，与人类的学习、记忆等模块协同工作，完成把需要注意的目标从背景分离、注意焦点在多个目标间转移等任务。

在计算机视觉领域，为了模拟人类视觉注意的特性，提出了显著度（Saliency）的概念。鉴于以上的重要性，视觉显著度分析得到了很多研究机构的注意，成为计算机视觉领域的一个热点研究方向。在美国加州理工大学的kLab实验室、美国南加州大学的iLab实验室、微软亚洲研究院等都在该领域取得了一定的成绩。但是目前主流的视觉显著计算方法研究方向主要基于2D图像视频，很少有涉及到立体视觉显著计算方法的研究。

三维技术从很早就已经诞生，其历史可以追溯到1839年英国科学家查理惠斯顿爵士发明了立体眼镜，从而让人们的左眼和右眼看同样图像时产生不同的效果。然而受限于三维技术的不成熟，虽然1936年就已经有了立体式效果的影片，但是二维电影图像一直都是多媒体领域的主流内容，因而绝大部分视觉注意以二维图像、视频为研究对象。随着RealID三维等技术发展，尤其是《阿凡达》的巨大成功，开辟了电影史上一个新的时代。美国好莱坞梦工厂已经宣布2009年以后出品的动画影片全部采用数字立体格式，迪士尼也宣布以后生产的动画片全部采用数字立体格式。国际一致认为数字立体电影改变了人们在影院的观影方式和体验，成为电影新的增长点。从产业数据上看出3D电影的票房比2D电影票房高出5倍多，优异的收入更加推动了三维技术的发展，毋庸置疑3D电影电视图像开始逐渐取代2D电影电视图像成为未来发展的主流。3D成像技术还推动了多个领域的发展，包括微软Kinect大卖预示着立体体感游戏将成为游戏的主流方向；珍藏的古董及主表可以通过三维完全详细检视；得益于两眼存在距离感可以使医生更好的分辨细微的物体，远距医学也逐渐发展，由上可见立体技术将会成为时代的主流。三维技术的发展也促使研究立体场景下人类的视觉注意方法成为了可能。

人类的视觉系统也是立体的，存在左右眼视差和左右眼的融合形成深度上的感受，增加人类的辨识能力。立体视觉注意无论是在心理学还是神经科学上都得到了广泛的关注，也有不少的立体视觉方面的研究被发表，从左右眼差别，深度获取，双眼竞争，双目融合等各方面都提出了研究理论，进而对立体视觉显著计算方法支撑。可以预见，立体视觉显著计算方法将会取代二维视觉显著计算方法，成为计算机视觉领域研究的一个热点研究方向。

计算机视觉领域中对二维图像视频的视觉显著度分析主要还是依托于生理学、心理学等结论，通过计算机模拟人类大脑的视觉注意过程。在认知神经科学中，现有视觉注意的理论包括基于物体注意和基于空间注意两种理论。基于物体注意理论认为物体的诸如颜色、运动、朝向、纹理、深度等特征在视觉系统中是独立编码的，视觉注意的目标是将这些不同的特征组合在一起；多个神经子系统的涌现性质可以化解视觉处理与行为控制之间的竞争。而基于空间注意的理论也提出了导引搜索模型和显著图（Saliency map）模型。视觉注意基本机理的研究对探索视觉显著计算方法有着指导意义。根据以上生理、心理学的研究，显著度提取的研究主要用自底向上计算方法模拟视觉系统处理过程来进行的。

自底向上的方法主要基于Treisman的特征整合理论，从输入图像提取多方面的特征，如颜色、朝向、亮度、运动、深度等，形成在各个特征维上的特征图；然后对这些特征图进行分析、融合得到兴趣图。兴趣图中可能含有多个待注意的候选目标，通过竞争机制选出唯一的显著目标。目前大部分立体视觉显著计算方法是基于二维视觉显著计算方法，加入深度特征进行扩展。