[发明专利]基于显著性特征融合的网页扫视路径预测方法

说明书

本发明涉及一种基于显著性特征融合的网页扫视路径预测方法，利用支持向量回归算法来建立多维显著性特征与初始注视概率值之间的关系，获取初始的注视概率图；再结合空间偏置与禁止返回机制来迭代预测下一个扫视点位置，得到由扫视点组成的扫视路径序列。本发明实现任意给定一幅网页图像，能够根据场景内容连续输出一组扫视点位置，预测人们在该场景下的扫视点跳转序列，形成扫视路径，揭示人们对于网页图像的动态关注过程。

技术领域

本发明属于图像处理领域，涉及一种图像扫视路径预测方法，特别是针对网页图像的扫视路径预测。

背景技术

扫视是人类视觉感知的一项重要特征，是视觉系统有效提取场景重要信息以及合理分配计算资源的关键。扫视路径包含对应场景下人们的扫视点位置信息以及动态时间关系。预测扫视路径不仅能够探索人类视觉加工内在机理，也能够为海量数据的高效处理提供解决方案。近年来，随着互联网的广泛传播以及信息大数据时代的飞速发展，网页已成为目前人们了解外部世界最重要的信息载体之一。预测用户在观看不同网页时的扫视路径，进一步引导视觉资源的有效分配具有重要的研究与商业价值，已逐渐成为计算机视觉与图像处理领域中的一个热点问题。

Chengyao Shen和Qi Zhao在文章“Webpage Saliency”,European Conference onComputer Vision,2014,pp.33-46中首次关注到人们对于网页图像的视觉注意问题，提出一种针对网页图像的关注区域检测算法，利用多核学习技术来学习图像特征与显著性值之间的关系。在此基础上，Quanlong Zheng等人在文章“Task-driven Webpage Saliency”,European Conference on Computer Vision,2018,pp.1-16中提出一种针对特定任务的网页图像关注区域检测算法，利用卷积神经网络来构建特定任务下由输入图像到显著性图的端到端模型。现有关于网页图像视觉注意的研究通常集中于静态显著性的计算，即通过计算显著性图来估计场景不同区域被关注的概率，仅能揭示人们关注区域的位置信息，而忽略了人类视觉注意与感知中动态扫视路径的生成过程。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于显著性特征融合的网页扫视路径预测方法，实现任意给定一幅网页图像，能够根据场景内容连续输出一组扫视点位置，预测人们在该场景下的扫视点跳转序列，形成扫视路径，揭示人们对于网页图像的动态关注过程。

技术方案

一种基于显著性特征融合的网页扫视路径预测方法，其特征在于步骤如下：

步骤1：提取显著性特征

对于网页图像中每一个像素点x，提取对应的显著性特征f(x)；所述的显著性特征包括底层特征与语义特征，其中，底层特征包括该像素点与邻域的亮度对比度、颜色对比度与方向对比度；语义特征包括两部分，第一部分是该像素点人脸检测与人体检测的结果，第二部分是该像素点邻域大小为15×15×3的区域块对应的语义哈希编码；

步骤2：训练基于多维特征融合的回归模型

选取75幅包含原始眼动数据的网页图像进行训练，对于每个网页图像，从人们关注度最高5％区域提取10个正样本点，标记为1；从关注度最低30％区域提取10个负样本点，标记为0；按照下式提取各个样本点处的显著性特征向量f(x)：

其中，为亮度对比度，为颜色对比度，为方向对比度，F(x)为人脸特征，P(x)为人体特征，H(x)为语义哈希特征；

利用支持向量模型对这1500个样本点进行学习，获得显著性特征权重向量w，来构建从显著性特征向量到标记关注概率的映射关系；

步骤3：估计初始注视概率图