[发明专利]一种基于注意力机制的图像美学质量评价方法

权利要求书

1.一种基于注意力机制的图像美学质量评价方法，其特征在于，包括以下步骤：

步骤1：设计网络结构模型；

网络结构模型为：主干网络用深度可分离卷积层，主干网络中插入注意力模块，主干网络后接全局均值池化层、全连接层以及softmax层；注意力模块用于模拟人的视觉机制，对于图像中的重点区域赋予较大的权重；

所述注意力模块为双路注意力模块：面向特征图位置和面向特征图通道的注意力模块；面向特征图位置的注意力模块用于捕捉位置上的长语义关联信息；面向特征图通道的注意力模块用于捕捉通道上的长语义关联信息；

所述面向特征图位置的注意力模块操作如下：

Step1-1：输入特征图C表示通道数，H和W分别表示特征图的高和宽，将A分别经过三个1×1的包含BN和ReLU的卷积层，得到三个新的特征图B、E、D，该卷积操作不改变特征图大小，因此

Step1-2：将B、E、D重整型成其中N＝H×W；

Step1-3：将B转置成与E做矩阵乘法，得到特征图并对其做softmax得到空间上的注意力映射图

Step1-4：将S转置成将D和S的转置做矩阵乘法，得到特征图再重整型为

Step1-5：将Step1-4得到的特征图乘以比例因子α，与原特征图A做元素加和运算，得到最终的输出特征图

所述面向特征图通道的注意力模块操作如下：

Step2-1：输入特征图将其重整型为其中N＝H×W；

Step2-2：将A转置成A与转置后的A做矩阵乘法，得到特征图并对其做softmax得到通道上的注意力映射图

Step2-3：将X转置成将X的转置和A做矩阵乘法，得到特征图再重整型为

Step2-4：将Step2-3得到的特征图乘以比例因子β，与原特征图A做元素加和运算，得到最终的输出特征图

步骤2：设计用于训练网络的损失函数；

采用下述基于数据均衡的bEMD损失作为损失函数：

其中，p为真实值得分的概率分布，为预测值得分的概率分布；S_e为第e张图片的评分人数，为整个数据集中图片的平均评分人数,N为数据集中图片的总数；CDF_p(k)是真实得分累积分布函数表示图片第j个真实分值的概率，k表示分值的总数；是预测得分累积分布函数表示图片第j个预测分值的概率；除去权重部分，该公式为CDF_p(k)和的闵可夫斯基距离定义，r＝1为曼哈顿距离、r＝2为欧氏距离、r→∞时为切比雪夫距离；

步骤3：处理训练数据；

将训练数据处理成满足网络结构模型要求的大小；

步骤4：用步骤3中处理好的训练数据、步骤2的损失函数，训练步骤1的网络结构模型得到图像美学质量评价网络；

步骤5：输入图片进行美学评分；

将待评价的图片缩放至所述网络结构模型要求的大小，输入所述图像美学质量评价网络中，得到该图片的每一个评分的概率分布，通过下述公式计算该分布的均值得到图片的美学得分μ：

其中，b_i为第i个分值，表示第i个分值的概率，k表示分值的总数。

2.根据权利要求1所述的方法，其特征在于，所述主干网络采用8层深度可分离卷积层，第6层后插入注意力模块。

3.根据权利要求1-2任一所述的方法，其特征在于，所述处理训练数据还包括获取图片和相应标签内容，所述将训练数据处理成满足所述网络结构模型要求的大小为先将图片缩放至略大于所述网络结构模型要求的大小，然后再随机裁剪成所述网络结构模型要求的大小，接下来再随机翻转以增强数据；标签为图片每一个分值的得分数，通过以下公式归一化作为图片的真实得分分布：

其中，p_i为第i个分值的概率，R_i为第i个分值的评分人数，R_j为第j个分值的评分人数，k为分值的数量。