[发明专利]一种基于自生成全局特征和注意力的图像美学预测方法

权利要求书

1.一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，包括以下步骤：

步骤1)、对深度分类网络中的自生成全局特征和注意力机制模块进行优化训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度；

步骤2)、采用训练后的深度分类网络进行图像的特征提取，对于提取的图像特征进行图像美学评价参数，基于图像美学评价参数进行图像美学的评分。

2.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络采用基于深度卷积的分类网络，以RGB图像及其多个得分数值作为分类网络的输入，分类网络的输出为图像的美学预测得分分布。

3.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，自生成全局特征用于分析深度分类网络的网络结构，通过跳转连接和压缩连接融合局部特征和全局特征，在提取局部特征的同时保存全局特征。

4.根据权利要求3所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，注意力机制模块考虑图像通道信息和图像空间信息，表示图像包含的与分类任务相关的目标信息，自生成全局特征和注意力机制模块嵌入在深度卷积分类的任意相连的特征图之间。

5.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络采用RGB图像及RGB图像多个得分数值进行训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度。

6.根据权利要求5所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络的训练具体包括以下步骤：

步骤1、采集输入图片并将其划分为训练集T_train和测试集T_test；

步骤2、随机初始化面向分类的网络S(·)中的权重参数、学习率和批大小；

步骤3、将输入图像T_train中的图像X输入到深度分类网络S(·)，使用adam优化方法训练分类网络的目标函数，当训练的回合次数大于最大回合次数E时，训练停止，完成模型S(·)的训练；

步骤4、将测试集T_test通过步骤3)保存的训练模型S(·)得到得分分布向量P_i，并通过平均得分公式计算得分D_i。

7.根据权利要求6所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络优化目标为最小化如式(2)所示的损失函数:

L＝αL_s+βL_emd (1)

其中α和β为权重参数，且满足α+β＝1，L_s和L_emd分别为softmax交叉熵损失函数和基于EMD损失函数，EMD通过式(3)得到：

其中CDF_p(k)和分别为P和的累加分布，k为类别索引，r＝2。

8.根据权利要求7所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络优化训练时采用带有Adam加速器的随机梯度下降方法对目标函数进行优化，其中动量为0.9，权重衰减为10^-4，初始化学习率为2.5×10^-3，最大迭代数E＝100。

9.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，注意力机制模块应用模型在特征图运用的结果为：

其中为矩阵的点乘运算，U'和U”分别为通道注意力机制模块和空间注意力机制模块运用到特征图上的结果。

10.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，自生成全局特征的生成：针对大小为M×M×N的分类器特征图，首先将其缩小为M/2×M/2×N，再将其收缩为M/4×M/4×N，对于收缩层M/4×M/4×N，使用SELU激活函数和两个全连接层和SELU激活函数收缩成大小为1×1×N的特征图，然后，将大小为1×1×N的特征图复制成大小为M×M×N的特征图，并与最初大小为的M×M×N特征图相连接形成大小为M×M×2N的特征图，最终，将大小为M×M×2N的特征图收缩为M×M×N。