[发明专利]一种基于注意力机制的图像美学质量评价方法

说明书

本发明涉及一种基于注意力机制的图像美学质量评价方法，属于计算机视觉技术领域；首先处理训练数据，然后设计网络结构模型，采用轻量级深度网络作为主干网络，融入注意力机制模块；之后，基于数据均衡思想，设计用于训练网络的损失函数；最后用处理好的训练数据训练网络结构模型，得到一个具有自动评价图像美学质量的网络模型；并基于该模型对输入图片进行美学评分以及将该模型应用于拍摄以辅助用户实时拍出更加美观的图片。对比现有技术，本发明采用的网络结构模型能更加有效的提取图像的特征，采用的损失函数，极大增强了模型对数据的学习能力，相比于其他方法既提高了准确率，又减少了模型的参数量。

技术领域

本发明涉及一种基于注意力机制的图像美学质量评价方法，尤其涉及一种基于轻量级的卷积神经网络、融入注意力机制模块，利用基于数据均衡的损失函数来训练，自动得到图片美学质量得分的方法，属于计算机视觉技术领域。

背景技术

图像美学质量评价(Image Aesthetic Quality Assessment)是利用计算机模拟人的视觉对于美的理解与感受，根据图像的美学质量将其分为高质量/低质量图片，或做出一个客观的评价得分。由于图像美学的抽象性、主观性以及受众的差异性，对于计算机来说，客观的对图片进行美学范围上的评价，是一个极具有挑战性的任务。

图像美学质量评价通常分为两步，首先提取图像特征，再根据特征进行决策。传统的人工设计的特征，提取图像清晰度、亮度、颜色、对比度、景深等摄影学上的特征，或用通用的人工特征。近年来，以卷积神经网络为主的深度学习也被应用到图像美学质量评价领域中来。但是如何同时保留图像的全局信息和局部信息，如何有效提取图像美学特征，仍是该任务的最大难点。

发明内容

本发明的目的是为了克服现有技术的不足，提出一种轻量级深度网络和注意力机制的图像美学质量评价方法，能在提高模型效果的基础上，减少模型参数量，并将该模型移植移动端进行应用。

一方面，本发明提供一种基于注意力机制的图像美学质量评价方法，包括以下步骤：

步骤1：设计网络结构模型；

网络结构模型为：主干网络用n层深度可分离卷积层(Depthwise Separableconvolutions)，主干网络中任意位置插入注意力模块，主干网络后接全局均值池化层(Global Average Pooling)、全连接层以及softmax层；注意力模块用于模拟人的视觉机制，对于图像中的重点区域赋予较大的权重。

作为优选，所述主干网络采用8层深度可分离卷积层，第6层后插入注意力模块。

作为优选，所述注意力模块为双路注意力模块：面向特征图位置和面向特征图通道的注意力模块；面向特征图位置的注意力模块用于捕捉位置上的长语义关联信息；面向特征图通道的注意力模块用于捕捉通道上的长语义关联信息。

作为优选，所述面向特征图位置的注意力模块操作如下：

Step1：输入特征图C表示通道数，H和W分别表示特征图的高和宽，将A分别经过三个1×1的包含BN和ReLU的卷积层，得到三个新的特征图B、C、D，该卷积操作不改变特征图大小，因此

Step2：将B、C、D重整型(reshape)成其中N＝H×W；

Step3：将B转置成与C做矩阵乘法，得到特征图并对其做softmax得到空间上的注意力映射图

Step4：将S转置成将D和S的转置做矩阵乘法，得到特征图再重整型为

Step5：将Step4得到的特征图乘以比例因子α，与原特征图A做元素加和运算，得到最终的输出特征图

作为优选，所述面向特征图通道的注意力模块操作如下：

Step1：输入特征图将其重整型为其中N＝H×W；