[发明专利]一种基于感兴趣区域和全局特征的图像美学质量评估方法

权利要求书

1.一种基于感兴趣区域和全局特征的图像美学质量评估方法，其特征在于，包括以下步骤：

步骤1、感兴趣区域提取算法设计；将原始图像作为全局图像输入；利用目标检测算法提取目标检测框，从全局图像中筛选出目标检测框，得到它们的中心点；利用显著性检测算法提取显著性映射图，对显著性映射图做二值化以分离出连通区域，提取所有连通区域的中心点；以所有提取到的中心点为中心，设置9个不同尺寸的候选区域；计算所有候选区域的区域语义性评分；根据区域语义性分数排序并使用非极大值抑制算法得到最终的感兴趣区域；

步骤2、数据集预处理；对感兴趣区域和全局图像进行归一化、镜像和随机裁剪操作；

步骤3、美学评估网络设计；美学评估网络包括感兴趣区域和全局图像输入、双通道并行卷积网络主体和Earth Mover's Dis tance-based Loss损失函数；所述双通道并行卷积网络通过提取输入的感兴趣区域和全局图像中的局部特征和全局特征进行融合，再利用Earth Mover's Dis tance-based Loss损失函数进行误差反向传播，最终输出一个美学分数概率分布；

步骤4、渐进优化训练；通过步骤1～步骤3训练获得初始收敛模型f1，利用初始收敛模型f1对训练集进行分类，剔除正确概率大于阈值的样本，得到新的训练集；在新的训练集上微调训练网络，优化模型，得到收敛模型f2；在收敛模型f2基础上，重复上述过程，得到收敛模型f3；将三个模型预测结果加权融合，获得最终的美学质量评估结果；

步骤5、预测输出；将任何目标图像使用已训练好的美学评分模型进行评估，得到相应的1～10分的美学分数概率分布以及最终的数学期望评分；

其中，步骤3所述双通道并行卷积网络主体选用了经典的卷积神经网络结构VGGNet，并将其在ImageNet上训练得到的网络模型迁移至美学评估网络中，所述双通道并行卷积网络主体包含特征提取网络和特征分类网络，所述特征提取网络是由两个分支组成的双通道网络，每个分支包含13个卷积层、5层池化层和第一全连接层，两个分支的第一全连接层拼接融合，输出至特征分类网络，所述特征分类网络由第二全连接层和第三全连接层组成。

2.根据权利要求1所述的一种基于感兴趣区域和全局特征的图像美学质量评估方法，其特征在于，所述步骤1中包括以下步骤：

步骤11、通过目标检测算法提取目标检测框，删除面积小于全局图像总面积1/10或者置信度小于50％的检测框，剩余检测框根据置信度进行评分排序，选取置信度最高的前10％检测框的中心点作为第一初始化中心点；

步骤12、通过显著性检测算法提取显著性映射图，计算每张显著性映射图的均值，以此为阈值对显著性映射图做二值化，根据二值化后的显著性映射图计算连通区域，提取所有连通区域的中心点作为第二初始化中心点；

步骤13、合并第一初始化中心点和第二初始化中心点，以此为中心设置9个不同尺寸的候选区域；

步骤14、提取到候选区域后，计算所有候选区域的区域语义性评分，并根据语义性分数排序；

步骤15、用NMS非极大值抑制算法对排序候选区域进行处理，获得分数越高，说明该区域包含的语义信息量越大，得到分数最高的3个候选区域，作为最终的感兴趣区域。

3.根据权利要求2所述的一种基于感兴趣区域和全局特征的图像美学质量评估方法，其特征在于：所述步骤14中，通过下列公式计算候选区域的语义性评分：

S_b＝Area(I_roi)

Score＝α*S_a+β*S_b，α＞0，β＞0

其中I_roi为输入的候选区域，Sal(I_roi)为候选区域内所有像素点的显著值之和，Area(I_roi)为候选区域的面积；S_a为显著性/面积比，其值越高，代表局部区域单位面积内的显著性越高，S_b为面积约束项，防止局部区域的面积过小，α、β为调节S_a、S_b两项的参数。