[发明专利]一种基于视觉显著性的注视点估计方法及装置

权利要求书

1.一种基于视觉显著性的注视点估计方法，其特征在于，所述方法包括以下步骤：

将当前场景的RGB图像和光流图像输入由卷积神经网络和长短时记忆网络构成的显著图生成模块中，提取来自单个RGB图像和连续的光流图像中的特征信息，生成显著图；

将当前人脸或人眼图像输入由卷积神经网络构成的注视点预测模块中，预测注视点；

将显著图输入校正模块中，使用最小二乘算法对预测的注视点进行校正，输出最终注视点。

2.根据权利要求1所述的一种基于视觉显著性的注视点估计方法，其特征在于，

所述RGB图像和光流图像被输入到由五个卷积层构成的特征提取卷积神经网络中，对输入的图像进行编码；

之后分别输入到反卷积神经网络和长短时记忆网络中，得到两个特征图，继续将这两个特征图进行融合，经过一个由三个卷积层构成的全卷积网络，得到最终的显著图。

3.根据权利要求1所述的一种基于视觉显著性的注视点估计方法，其特征在于，

当前人脸或人眼图像输入注视点预测模块中，分别经过卷积神经网络进行特征提取，之后将特征图进行连接，通过全连接网络最终得到注视点坐标。

4.根据权利要求1所述的一种基于视觉显著性的注视点估计方法，其特征在于，所述方法还包括：光流图像的生成方法，

包括：基于梯度或微分的方法、基于匹配的方法、基于能量或频率的方法、基于相位的方法和神经动力学方法。

5.根据权利要求1所述的一种基于视觉显著性的注视点估计方法，其特征在于，

所述校正模块的输入是显著图生成模块的输出和注视点预测模块的输出，首先在显著图中绘制一个以预测注视点为圆心，半径为1度的圆，然后求得显著图中显著区域中心坐标，对连续多个预测注视点和显著区域中心坐标使用最小二乘法求解校正之后的注视点坐标。

6.一种基于视觉显著性的注视点估计装置，装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述的方法步骤。