[发明专利]一种基于属性感知关系推理的通用图像美学评估方法和装置

说明书

本发明公开了一种基于属性感知关系推理的通用图像美学评估方法和装置，用于提高通用图像美学评估模型的准确性。本发明首先利用卷积神经网络构建特征提取器，得到图像的全局特征图；并在全局特征图的基础上，通过学习图像的美学属性来生成属性感知特征图；然后利用自注意力机制构建属性关系推理模块，并进一步得到美学属性的关系特征图；最后把全局特征图、美学属性特征和属性关系特征图进行特征联合，同时对图像的美学分布进行建模预测；最终通过计算把美学分布转化成图像的通用美学分数；本发明可有效地评估待测试图像的通用美学分数，准确率高，并且本发明可以有效地筛选出符合大众审美的图像，易于应用在图像检索和图像增强等技术中。

技术领域

本发明涉及计算机视觉与图像处理技术，尤其涉及一种基于属性感知关系推理的通用图像美学评估方法和装置。

背景技术

随着社交媒体的普及，人们越来越关注能够使图像看起来更具吸引力的图像美学。图像美学评估目的是模拟大众的视觉审美来评估图像美学质量，该研究在计算机视觉和多媒体领域受到越来越多的研究者关注。图像美学评估技术有很多潜在的应用，如广告海报设计、图像检索、图像增强、艺术摄影和图片推荐等。

早期的图像美学评估方法主要通过提取在摄影技术上通用规则(如景深和三分构图法)的手工特征来评估图像的美学质量。随着深度学习技术的流行，现有方法通常采用卷积神经网络(Convolutional Neural Network，简称CNN)把图像的美感映射为二值分类(高或低)或者美学分数。然而，上述两种美学评估结果不能全面描述大众对图像审美的多样性。因此，近期的图像美学评估技术开始关注图像的美学分布预测，也就是把图像的美感映射为大众对图像评估的分数分布。现有技术主要是利用一些可解释的美学属性来评估图像的通用美学质量，这些工作认为图像的美学属性与美学质量息息相关，可以直接利用美学属性来辅助图像美学评估任务。在2016年，Kong等人提出了一种图像美学排序网络，可以通过联合学习自适应的图像美学属性与内容对图像的美学分数进行回归预测。在2019年，Pan等人提出了一种多任务回归网络，该网络可以同时学习图像美学属性和美学分数，同时引入了一个鉴别器来增强所提出的多任务回归网络的学习能力。在2020年，Li等人提出了一种多任务学习网络来构建图像美学分布预测模型，该模型利用图像的人格属性来进一步提高了图像美学分布预测模型的性能。

虽然上述方法在一定程度上可以有效地评估图像的美感，但是由于大众对图像美学属性的偏好存在一定的差异，直接利用图像的美学属性来预测大众对图像美学分布的可能存在表征能力不足问题。为了充分利用美学属性对图像美学分布的影响机制，一种行之有效的解决办法是探索图像中各种美学属性之间的隐含关系来推断大众对图像评估的美学分布情况。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于属性感知关系推理的通用图像美学评估方法和装置，具体来说，为了捕捉图像中不同美学属性之间的隐含关系，本发明利用自注意力机制将美学属性感知特征转化为属性关系特征，然后将属性特征、属性关系特征和全局特征相结合，共同对图像评估的美学分布进行建模，最终可以得到准确性高的通用图像美学评估模型。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于属性感知关系推理的通用图像美学评估方法，包括如下步骤：

Step1：利用卷积神经网络(CNN)模型和1×1卷积运算构建图像特征提取器f_θ，使用图像特征提取器f_θ提取图像的全局特征图F_g；其中：θ为卷积神经网络模型的参数；

Step2：构建美学属性预测模块，将全局特征图F_g通过一个1×1卷积运算得到包含两个以上通道的特征图F_a，将特征图F_a映射为图像的美学属性d_a；对美学属性预测模块进行训练得到的特征图F_a即为属性感知特征图；