[发明专利]排列注意力特征的全景图像显著性预测方法、系统及终端

权利要求书

1.一种基于排列注意力特征的全景图像显著性预测方法，其特征在于，包括：

提取模板特征图和逐通道特征图，将所述模板特征图和所述逐通道特征图进行相乘生成逐通道特征；

将生成的所述逐通道特征进行注意力特征排列；

根据排序结果，选择对细粒度显著性预测有用的所述逐通道特征进行特征增强，将选择的所述逐通道特征输入到卷积神经网络中进行头部注视点的预测；

所述提取模板特征图，包括：

使用基于ResNet50预测网络的两阶段分支网络提取前景注意力图和背景注意力图；

将得到的所述前景注意力图和所述背景注意力图进行加权融合得到模板特征图；

所述使用基于ResNet50预测网络的两阶段分支网络提取前景注意力图和背景注意力图，包括：

在第一阶段进行预测的公式如下：

F¹＝φ¹(M¹),

其中，F¹和B¹分别表示预测的前景注意力图和背景注意力图，M¹是通过ResNet50预测网络得到的特征图，φ¹和表示两个独立的ResNet50预测网络；

在第二阶段，对第一阶段生成的前景注意力图和背景注意力图进行增强，其具体的公式是：

F_att＝φ²(M²|F¹,B¹),

其中，F_att和B_att分别表示最终预测的前景注意力图和背景注意力图，M²是在第二阶段通过ResNet50网络预测得到的特征图，φ²和表示在第二阶段两个独立的ResNet50预测网络；

所述提取逐通道特征图，包括：

利用基于ResNet50预测网络提取逐通道特征图，所述逐通道特征图是在ResNet50预测网络的最后一层输出的特征图。

2.根据权利要求1所述的基于排列注意力特征的全景图像显著性预测方法，其特征在于，将得到的所述前景注意力图和所述背景注意力图进行加权融合得到模板特征图，是指：

采用线性加权的方法对得到的所述前景注意力图和所述背景注意力图进行融合得到模板特征图。

3.根据权利要求1所述的基于排列注意力特征的全景图像显著性预测方法，其特征在于，所述将生成的逐通道特征进行注意力特征排列，包括：

对逐通道的特征图按照其对应的分数进行从大到小的排序，逐通道特征图的分数越大表明该通道特征对最后的细粒度显著性预测越重要。

4.根据权利要求3所述的基于排列注意力特征的全景图像显著性预测方法，其特征在于，所述将生成的逐通道特征进行注意力特征排列，按照以下方法实现：

通过排列网络自动学习排列分数来展示逐通道特征图的重要性，计算排列分数的公式被定义为：

r'＝f_n(S')+f_max(S')

其中，f_n是基于CNN的网络，f_max是包含有逐通道全局最大池化层的网络，S'表示逐通道特征图，r'表示排列分数；

根据得到的排列分数对逐通道特征图从大到小进行排列，其具体的计算公式如下：

其中，表示排列后有序的逐通道特征图。

5.根据权利要求1-4任一项所述的基于排列注意力特征的全景图像显著性预测方法，其特征在于，所述选择对细粒度显著性预测有用的逐通道特征进行特征增强，包括：

根据逐通道特征图的排列分数大小和实验效果选择对细粒度显著性预测重要的一些特征，舍弃掉一些排列分数较小的特征即冗余特征；

将上述选择的逐通道特征送入卷积神经网络中，输出预测的显著图。