[发明专利]一种基于注意力转移的第一视角注视点预测方法

权利要求书

1.一种基于注意力转移的第一视角注视点预测方法，其特征在于，包括：

提取光流图像；

构建基于注意力转移的第一视角注视点预测模型；

将所述光流图像输入所述第一视角注视点预测模型，获取空间特征和时间特征，基于所述空间特征和时间特征，获取初始视觉显著性图像和注意力图像，基于所述初始视觉显著性图像和注意力图像，融合生成最终的注视点预测图像。

2.根据权利要求1所述的基于注意力转移的第一视角注视点预测方法，其特征在于，所述第一视角注视点预测模型包括：特征编码模块、显著性预测模块、注意力转移模块和后期融合模块；其中，所述特征编码模块为：引入Inflated 3D网络的特征编码模块；

所述特征编码模块和所述后期融合模块通过并行的所述显著性预测模块和注视状态预测模块进行连接。

3.根据权利要求2所述的基于注意力转移的第一视角注视点预测方法，其特征在于，获取所述空间特征和时间特征包括：

将所述光流图像输入所述特征编码模块，利用所述Inflated 3D网络分别提取所述空间特征和时间特征。

4.根据权利要求2所述的基于注意力转移的第一视角注视点预测方法，其特征在于，获取所述初始视觉显著性图像包括：

将所述空间特征和所述时间特征输入所述显著性预测模块，采用逐个元素求和的方法进行特征融合，获得所述初始视觉显著性图像。

5.根据权利要求2所述的基于注意力转移的第一视角注视点预测方法，其特征在于，所述注意力转移模块包括：通道权重提取器、注视状态预测器和基于LSTM的权重预测器；

所述权重预测器分别与所述通道权重提取器、注视状态预测器连接。

6.根据权利要求5所述的基于注意力转移的第一视角注视点预测方法，其特征在于，获取所述注意力图像包括：

将预设图像的最大值坐标和所述空间特征输入所述通道权重提取器，获取第一通道权重；其中，所述预设图像为：上一次预测的所述注视点预测图像，所述第一通道权重为：上一次注视点周围的特征表示通道权重；

将上一次预测的所述时间特征输入所述注视状态预测器，获取注视状态概率；

将所述第一通道权重输入所述权重预测器，获取第二通道权重；其中，所述第二通道权重为：当前时刻表示注意力区域的通道权重；

基于所述第二通道权重和所述注视状态概率，获取第三通道权重；其中，所述第三通道权重为：当前时刻最终的通道权重；

将所述第三通道权重和所述空间特征进行加权，获取所述注意力图像。

7.根据权利要求2所述的基于注意力转移的第一视角注视点预测方法，其特征在于，生成最终的所述注视点预测图像包括：

将所述初始视觉显著性图像和所述注意力图像输入所述后期融合模块，获得最终的所述注视点预测图像；并记录所述注视点预测图像中最大值的坐标为下一次使用。

8.根据权利要求1所述的基于注意力转移的第一视角注视点预测方法，其特征在于，所述预测方法还包括对所述注视点预测图像利用Area Under Cuve进行验证。