[发明专利]一种基于颜色和谐和平面构成的图像美学预测方法

说明书

本发明公开了一种基于颜色和谐和平面构成的图像美学预测方法。本发明首先对于基于颜色和谐和平面构成的数据集的提取与处理。然后以卷积神经网络为基础进行预测模型的构建。最后对于颜色和谐，平面构成，整体三个方面的图像特征融合以及预测模型的训练与测试。本发明采用了基于颜色和谐和平面构成的图像美学预测方法，通过对颜色和谐和平面构成的美学特征的提取分析，使得模型能更好的考虑到颜色和谐和平面构成对于美学质量评价的重要性。把美学特征加入到卷积神经网络中，并且大幅度提高了结果的精度，降低了预测误差。

技术领域

本发明属于图像处理技术领域，一种基于颜色和谐和平面构成的图像美学预测方法。

背景技术

究竟什么是图像美学质量呢？牛津高阶英语词典将美学定义为：“concerned withbeauty and art and the understanding of beautiful things,and made in anartistic way and beautiful to look at.”视觉美学质量是视觉感知美的一种度量。图像的视觉美学质量衡量了在人类眼中一幅图像的视觉吸引力。由于视觉美学是一个主观的属性，往往会涉及情感和个人品味，这使得自动评估图像美学质量是一项非常主观的任务。然而，人们往往会达成一种共识，即一些图像在视觉上比其他图像更有吸引力，这是新兴研究领域——可计算美学的原理之一。计算美学探索如何用可计算技术来预测人类对视觉刺激产生的情绪反应，使计算机模仿人类的审美过程，从而用可计算方法来自动预测图像的美学质量。

在计算机视觉中，图像的美学优化一直是一个很难解决的问题，而当能对图像进行一个比较符合大众审美的美学评价时，则能根据这个评价来对图像进行美学优化处理。如何得到符合大众审美的美学评价呢？对于一张图像来说，多个因素会影响你对于这张图像的感观，比如图像中的存在的颜色以及颜色之间的搭配，比如图像中的内容物件以及他们之间的布局搭配等等。所以如何能让模型学到各个方面的特征因素，是图像美学评价的关键。

传统的图像美学评价方法是基于人工设计特征提取器，在论文《Studyingaesthetics in photographic images using a computational approach》中结合了低级特征和高级特征，这些特征通常用于图像检索，并训练SVM分类器用于图像美学质量的二值分类。但是随着基于深度学习的技术的发展，人工设计的特征提取器被抛弃。研究者们在图像美学评评估任务中引入了深度卷积神经网络，由于深度学习其强大的自动特征学习能力，不需要人们有丰富的图像美学知识和摄影经验就可以自动提取图像美学特征。论文《RAPID:Rating Pictorial Aesthetics using Deep Learning》中提到的RAPID模型可以被认为是用美学数据训练卷积神经网络的第一次尝试。他们使用类似AlexNet的架构，其中最后一个全连接层输出2维概率进行审美二元分类。但是对于图像来说，颜色和谐和平面构成是决定这张图像是否具有美学质感的重要性因素，以上的方法并没有刻意在这两方面进行特征的研究提取。

发明内容

本发明针对现有技术的不足，提供了一种基于颜色和谐和平面构成的图像美学预测方法。用户可以通过输入图片，通过本文的方法预测出该图片的美学角度的评分分布来描述其美学质感，以1-10分的评分分布来表示。

本发明解决其技术问题所采用的技术方案步骤如下：

第一步：对于基于颜色和谐和平面构成的数据集的提取与处理。

1)以AVA数据集作为基础，其中AVA数据集中每张图片有78～549名评分者的平分，分数范围为1到10。把评分分布作为真值标签，把这些图片按照6:2:2的比例分为训练集，验证集和测试集。

2)通过K-means聚类的方法，对图片进行关于颜色和谐的美学特征提取。提取出来固定五种颜色的颜色主题，并且颜色主题按照在图片中占比不同，提取的面积比例也不同。