[发明专利]一种基于注意力转移的第一视角注视点预测方法

说明书

本发明提供了一种基于注意力转移的第一视角注视点预测方法包括：提取光流图像；构建基于注意力转移的第一视角注视点预测模型；将所述光流图像输入所述第一视角注视点预测模型，获取空间特征和时间特征，基于所述空间特征和时间特征，获取初始视觉显著性图像和注意力图像，基于所述初始视觉显著性图像和注意力图像，融合生成最终的注视点预测图像。本发明对原图像在多尺度上进行了时空的特征提取，充分利用了时序信息和高层语义信息用于显著性检测，通过对注意力转移的建模，从先前的注视中预测后续的注意力，最后结合视觉显著性模型融合为最终注视点预测图，提高了注视点预测的准确度。

技术领域

本发明属于计算机视觉注视点预测技术领域，尤其涉及一种基于注意力转移的第一视角注视点预测方法。

背景技术

随着运动相机等设备的快速发展，越来越多以自我为中心的第一视角视频的产出使得第一视角注视点预测成为计算机视觉领域的一个新兴方向。第一视角视频是以拍摄者本人亲眼所见的角度对客观事物进行观察和拍摄的视频。研究第一视角中所注视的区域对于观察人类注意力，了解人类活动意图有着重大的作用。同时这一研究在虚拟现实(VR)，增强现实(AR)等诸多应用场景有着相当的价值。如VR目前所面临的全场景精细渲染对硬件要求较高的问题，如果能够预测人的注视区域并进行局部的精细渲染，则可以极大地降低硬件成本。第一视角注视点预测就是通过图像处理技术以及计算机视觉算法来定位第一人称视频中人眼所注视的区域。

第一视角的注视点预测将图像或视频中人们可能注视的区域进行估计和预测。例如，通过利用相机佩戴者行为中存在的隐性线索，进行第一视角的注视点预测。使用深度模型和对抗性网络来预测未来视频帧中以自我为中心的注视位置。将时间注意力转移纳入基于显著性的注视点预测模型。还可利用多模态网络，使用视频和惯性测量单元数据来进行更精确的以自我为中心的注视点预测。基于transformer的架构也可以解决注视点预测的问题。现有的第一视角的注视点预测方法在预测精度上仍有着一定提升空间，因此，开发更有效的模型以获得更精确的注视点预测结果是必要的。

发明内容

为解决上述技术问题，本发明提出了一种基于注意力转移的第一视角注视点预测方法，利用双流I3D网络进行时间特征提取和多尺度的空间特征提取，分别通过显著性检测模块和注意力转移模块生成视觉显著性图像和注意力图像，最终融合生成对图像或视频的注视点预测，预测人类注视区域以提高进一步视觉信息处理的能力。

本发明提供了一种基于注意力转移的第一视角注视点预测方法，包括：

提取光流图像；

构建基于注意力转移的第一视角注视点预测模型；

将所述光流图像输入所述第一视角注视点预测模型，获取空间特征和时间特征，基于所述空间特征和时间特征，获取初始视觉显著性图像和注意力图像，基于所述初始视觉显著性图像和注意力图像，融合生成最终的注视点预测图像。

可选地，所述第一视角注视点预测模型包括：特征编码模块、显著性预测模块、注意力转移模块和后期融合模块；其中，所述特征编码模块为：引入Inflated 3D网络的特征编码模块；

所述特征编码模块和所述后期融合模块通过并行的所述显著性预测模块和注视状态预测模块进行连接。

可选地，获取所述空间特征和时间特征包括：

将所述光流图像输入所述特征编码模块，利用所述Inflated 3D网络分别提取所述空间特征和时间特征。

可选地，获取所述初始视觉显著性图像包括：

将所述空间特征和所述时间特征输入所述显著性预测模块，采用逐个元素求和的方法进行特征融合，获得所述初始视觉显著性图像。

可选地，所述注意力转移模块包括：通道权重提取器、注视状态预测器和基于LSTM的权重预测器；