[发明专利]一种基于视觉显著性的注视点估计方法及装置

说明书

本发明公开了一种基于视觉显著性的注视点估计方法及装置，所述方法包括以下步骤：将当前场景的RGB图像和光流图像输入由卷积神经网络和长短时记忆网络构成的显著图生成模块中，提取来自单个RGB图像和连续的光流图像中的特征信息，生成显著图；将当前人脸或人眼图像输入由卷积神经网络构成的注视点预测模块中，预测注视点；将显著图输入校正模块中，使用最小二乘算法对预测的注视点进行校正，输出最终注视点。装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。本发明将视觉显著性用于眼动跟踪，使用显著图对预测的注视点进行校正，提高注视点估计的准确率。

技术领域

本发明涉及视觉显著性领域，尤其涉及一种基于视觉显著性的注视点估计方法及装置。

背景技术

注视点估计即估算人双目视线聚焦的落点。其一般场景是估计人在一个二维平面上的注视点。这个二维平面可以是手机屏幕，电脑屏幕，电视屏幕和VR设备中的虚拟屏幕等。常用的注视点估计方法可分为两大类：基于几何模型的和基于外观的。基于几何模型的方法也被称为基于特征的方法，基本原理是从人眼图像中提取一些特征(如：瞳孔、虹膜、眼角、角膜反射点等)，构造几何模型计算注视点。基于外观的方法不对人眼图像进行处理，而是试图通过大量人眼图像训练人眼外观与注视点之间的映射关系。

视觉显著性(Visual Attention Mechanism，VA，即视觉注意机制)是指面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著性区域。人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力，这种视觉注意机制是人们日常生活中处理视觉信息的重要机制。

目前的注视点估计方法使用卷积神经网络从人脸或人眼中估计注视点，该方法考虑到了人脸和人眼对注视点的影响，收集了大量人脸、人眼和对应屏幕上注视点坐标的数据，但没有考虑观看屏幕时屏幕上显示的图像信息。人类在观察静态场景(如图片)时，更偏向于观看图像的显著性区域，在观察动态场景(如视频)时，更偏向于观看有变化的区域。

现有技术的方法仅从人脸或人眼图像中估计对应的注视点，而忽视了场景因素在注视点估计中的重要性，在大多数情况下，人眼注视点与人眼当前状态以及人眼所看到的场景都有着紧密的联系，同时分析场景和人眼图像而不是单纯分析人眼图像会更加接近真实的人眼注视点。

发明内容

本发明提供了一种基于视觉显著性的注视点估计方法及装置，本发明将视觉显著性用于眼动跟踪，使用显著图对预测的注视点进行校正，提高注视点估计的准确率，详见下文描述：

一种基于视觉显著性的注视点估计方法，所述方法包括以下步骤：

将当前场景的RGB图像和光流图像输入由卷积神经网络和长短时记忆网络构成的显著图生成模块中，提取来自单个RGB图像和连续的光流图像中的特征信息，生成显著图；

将当前人脸或人眼图像输入由卷积神经网络构成的注视点预测模块中，预测注视点；

将显著图输入校正模块中，使用最小二乘算法对预测的注视点进行校正，输出最终注视点。

其中，所述RGB图像和光流图像被输入到由五个卷积层构成的特征提取卷积神经网络中，对输入的图像进行编码；

之后分别输入到反卷积神经网络和长短时记忆网络中，得到两个特征图，继续将这两个特征图进行融合，经过一个由三个卷积层构成的全卷积网络，得到最终的显著图。

进一步地，

当前人脸或人眼图像输入注视点预测模块中，分别经过卷积神经网络进行特征提取，之后将特征图进行连接，通过全连接网络最终得到注视点坐标。

其中，所述方法还包括：光流图像的生成方法，包括：基于梯度或微分的方法、基于匹配的方法、基于能量或频率的方法、基于相位的方法和神经动力学方法。