[发明专利]一种基于方向选择性的增强图像显著性预测方法

说明书

本发明公开了一种基于方向选择性的增强图像显著性预测方法。首先，将输入图像变换到感知均匀的LAB颜色空间，并将图像大小变为96*96。然后，通过提出的模型EOSS计算LAB三通道的子显著图。提出的模型分两部分。显著性预测部分，基于方向选择性提取局部特征“兴奋度”图搜索可能显著的像素，基于视觉敏感度提取全局特征“敏感度”图调制搜索过程，计算两种特征结合的局部熵得到候选的显著区域。显著性增强部分，模拟人眼凹点特性，设计一个基于视觉错误敏感度的算子局部和全局地促进显著图中有意义的信息。最后，加权相加高斯滤波并归一化的子显著图得到最终的显著图。本发明方法在Toronto，MIT和NUSEF三个通用图像数据库上进行试验，都具有较高的鲁棒性和准确性。

技术领域

本发明涉及一种显著性预测方法，特别是涉及一种基于方向选择性的增强的图像显著性预测方法，属于图像处理、计算机视觉领域。

背景技术

显著性预测是人类视觉系统从视觉刺激中获取重要信息的一项重要技术。日常生活中，人们需要处理比他们所能处理的更多的视觉信息，为了处理这个问题，人类视觉系统利用显著性预测机制，选择性地处理视觉信息中吸引人类注意的显著部分而忽略其它部分。显著性预测已经成为一种重要的预处理工具，广泛应用于各种应用，例如图像质量评价、视频编码、目标跟踪与识别等等。

在过去的几十年里，大量的显著性预测模型被提出，并且它的数量依然在快速增长。总的来说，显著性预测中存在着两种有区别的机制。自底向上机制，快速且是刺激驱动的，仅仅依赖于输入信号本身。自顶向下机制，缓慢且是任务驱动的，需要采用额外的先验知识或者用于学习的数据。基于这种概念，存在的显著性模型可以被大致分为两类：1)自底向上模型；2)自底向上和自顶向下结合的模型。对于第一种类型，大量的显著性模型通过计算中心周围对比或者块的稀有性得到局部的显著性，另一部分模型利用输入图像的前景/图形属性得到全局的显著性，这类模型的特点是设计简单明确但预测准确率不高。对于第二种类型，一些基于自然图像统计的先验信息被用于指导显著性预测，近年来越来越多基于卷积神经网络的显著性模型被提出，这类模型的特点是预测准确率高但原理不明确且复杂度高。所以，怎样在没有大量训练和学习的情况下预测各种简单和复杂场景的显著性，怎样提高包含情感和语义场景属性的图片的预测准确率，是目前需要进一步解决的难题。

发明内容

本发明的目的是为了对各种自然和情感图像进行更准确的显著性预测，提出一种基于方向选择性的增强的图像显著性预测方法。

由于显著性预测可以被认为是人眼视觉系统的活动，最有效的显著性预测思想应该高度近似于人类视觉系统对感知信息的响应。最近，认知神经科学的研究发现初级视觉皮层存在着明显的方向选择机制，通过这种机制人类视觉系统可以提取输入刺激的各种视觉特性用于场景感知和理，很自然地，我们可以通过方向选择性搜索视觉显著的特征。同时，根据指导搜索理论，全局感知信息很早地从视觉输入中提取出来然后用于指导显著性搜索，因此我们可以通过视觉敏感度提取视觉上显著的边缘作为一种全局轮廓信息指导显著性搜索过程。进一步地，考虑到人眼的凹点特性，即人类视觉系统对映射到人眼中央凹区的显著物体最敏感，并随着离中央凹区的距离越来越远人眼的敏感度快速下降，我们可以设计一种基于视觉错误敏感度的增强算子用于促进显著图中有意义的信息。本发明方法能有效地提高各种自然和情感图像的显著性预测结果，不仅可以在各种客观指标上取得优越的分数，而且在主观视觉上也有更好的效果。此外，本发明对于研究人类对视觉刺激的响应和显著性预测之间的关系也具有重要的借鉴意义。

为达到上述目的，本发明的构思是：

首先，根据指导搜索理论，通过利用方向选择性和视觉敏感度对输入图像中刺激人类视觉系统的局部和全局的特征进行提取和融合，得到人类视觉系统相对于输入刺激基本的响应，从而可以更加鲁棒和准确地找到候选的显著区域的位置，水平和大小。进一步地，考虑到人眼的凹点特性，设计一种基于视觉错误敏感度的增强算子用于局部和全局地促进显著图中候选显著区域的有意义信息。通过上述思想对输入图像进行处理，即本发明所述的基于方向选择性的增强显著性预测模型。